据了解,腾讯混元 Hy3 模型于 7 月 6 日发布开源。Hy3 是一个快慢思考融合的模型,采用 MoE 架构,总参数 295B,激活参数 21B,最大支持 256K 上下文长度。
据介绍,Hy3 基于 preview 版本进一步提升了后训练数据的质量和多样性,扩大了 RL 算力规模,在推理、智能体、长上下文等任务上显著进步,取得了比肩国内外更大尺寸旗舰模型的效果。
据了解,腾讯混元 Hy3 模型于 7 月 6 日发布开源。Hy3 是一个快慢思考融合的模型,采用 MoE 架构,总参数 295B,激活参数 21B,最大支持 256K 上下文长度。
据介绍,Hy3 基于 preview 版本进一步提升了后训练数据的质量和多样性,扩大了 RL 算力规模,在推理、智能体、长上下文等任务上显著进步,取得了比肩国内外更大尺寸旗舰模型的效果。