强化学习已成为大模型训练主流范式,推动模型技术向行业核心场景工程化落地。其中,训推一致至关重要,因推理与训练过程耦合,基础设施差异易放大不确定性。
华为计算官方 8 月 5 日宣布,昇腾基于 Ascend C 编程语言提供完整训推一致算子集,在 Qwen3-30B MoE 模型上的测试实现 Logdiff 为 0,并通过昇腾亲和的 FA 算子优化,在 Eager 模式下获得 20%-60% 性能收益,为开发者提供高效可靠的强化学习训练方案。
RL 后训练训推不一致最根本的原因,是底层计算时累加不保序。若要从上到下保证训练引擎与推理引擎每一次累加顺序一致,需要框架侧与算子侧同时发力。模型参数越大,问题会进一步放大:张量并行、专家并行等切分策略,以及集合通信路径,任一环节对不齐,都无法做到最终的 true-on-policy。算子还需要覆盖多种调用场景,在关键计算步骤上施加约束,同时把性能损失控制在可用范围内 —— 这是一项系统性工程挑战。
训推不一致,指的是Rollout引擎与训练引擎之间的数值不一致性。即使两者使用完全相同的模型权重,对相同 Token 序列计算得到的对数概率也可能存在细微差异;该差异通常用 logdiff 衡量。
昇腾基于 Ascend C 编程语言对训推链路中的关键算子做了系统性约束与对齐,核心思路是:让训练与推理在走同一套数值路径,主要涉及如下 4 个修改:
对齐训练掩码 Softmax 与推理逐步注意力在有效位置上的计算范围,消除因可见 Token 集合不同带来的数值差。
约束训练 FA、推理 PFA / PagedAttention 在规约维度上的切分与归约顺序,避免导致的累加不保序。
统一分块大小与归约节奏,避免 decoder 侧多块合并 Softmax 与训练侧分块 Softmax 不一致。
在 Softmax 累加等敏感步骤上统一精度转换策略,减少混合精度实现差异引入的尾数误差。
在此基础上,再配合 FA 下发与调度优化,使训推一致不再以显著性能回退为代价,从而在实测中同时拿到 logdiff=0 与端到端加速。
华为宣布相关基础设施已开源,还将上线“训推一致问题识别 Skill”,支持排查残余 logdiff、定位是算子路径问题还是框架实现差异。
特别
某大厂员工自爆:经过了六七轮面试,才拿到的工作机会,以为一定是个非常重要的岗位,没想到进去后发现,只要有手有脚就能干
56岁孟庭苇回应状态好:“因为没有另一半,就不会有折磨。我单身了20年,所以我觉得状态越来越好”
伊朗总统质问美国:为什么[*][*]我们的领袖?为什么[*]害我们的指挥官和科学家?我无论怎么想都找不到理由!
张雪峰前妻李丽婧发文:雪峰留的钱已经存入信托,为了女儿的生活,接下来会研发一款好用的笔,会很快和大家见面










