围绕模型新增的稀疏注意力、百万级上下文及推理服务需求,昇腾开展算子与框架协同优化,支持用户及开发者在模型发布首日开展部署与应用验证。
Kimi K3.1 Pro 是 K3.1 系列的首个模型,拥有 2.8 万亿参数,原生支持
借助百万级上下文,模型可综合利用长篇文档、代码和多轮交互中的任务信息,结合
在计算架构上,K3.1 Pro 采用混合线性注意力,结合 KDA 线性注意力层和 DSA 稀疏注意力层。发挥这一架构的计算优势,需要对算子执行、缓存管理与跨卡通信进行协同优化。
文中提到,昇腾推理团队依托 Kimi K3 的适配经验,提前开展模型分析,协同推进模型接入、算子开发与服务验证。在已有 KDA 与 MoE 支持的基础上,完成 K3.1 Pro 新增稀疏注意力路径与多模态推理适配,并同步支持推理框架的既有服务能力。
本次适配围绕核心算子优化与推理特性支持展开,覆盖历史信息筛选、稀疏注意力计算、预处理与残差计算,并结合分布式缓存和框架能力叠加,支撑长上下文推理与服务部署。










