Kimi K3正式开源:2.8万亿参数模型权重、技术报告同步发布

发布时间:2026-07-28 11:09

  7月23日深夜,月之暗面宣布开源Kimi K3模型权重、发布技术报告,并同步开放MoonEP、FlashKDA、AgentEnv三项关键基础设施技术。此次开放涵盖模型、训练方法以及底层训练系统,开发者可下载模型进行部署和二次开发,具体使用范围需遵循Kimi K3许可证。

  官方介绍显示,Kimi K3采用混合专家架构,总参数规模达到2.8万亿,具备原生

  与模型权重同步发布的还有Kimi K3技术报告。根据公开内容,报告披露了模型训练与架构设计的多项技术细节,包括KDA与Gated MLA混合注意力结构、Stable LatentMoE专家路由机制、MoonViT-V2

  除模型本身外,月之暗面还宣布开源支撑Kimi K3训练的关键基础设施技术。其中,MoonEP是一套面向大规模MoE模型的高性能专家并行通信库;FlashKDA是Kimi Delta Attention对应的高性能计算算子,官方数据显示,其在英伟达H20上的Prefill速度相比flash-linear-attention基线倍;AgentEnv则是月之暗面与KVCache.ai合作开发的Agent沙箱系统,可支持快速快照、恢复及Fork等能力,用于大规模Agent训练环境。

  月之暗面表示,此次开放旨在推动开放权重模型生态的发展,希望通过开放模型、训练方法及底层基础设施,降低模型部署和开发门槛,为AI社区及相关研究提供更多可复用的技术资源。

排行

精选