针对本地部署，团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8，权重占用从约，让具备服务器级 GPU 的团队以更少卡数运行模型；实际需求仍随上下文、并发量和服务配置而变。
针对长资料处理，团队提供长上下文并行推理方案；工具调用也加强了对 JSON Schema 的支持，方便与现有业务接口对接。
企业知识问答、办公助手常要先读取较长资料，用户仍希望尽快看到回复。团队通过算子融合与 DSpark 投机解码减少推理开销：在平均输入约 25.47K Token、输出约 224 Token、缓存命中率为 76% 的模拟生产请求中，8 卡 Hopper配置下的平均首 Token 时间为604 毫秒，相邻输出 Token 平均间隔为3.28 毫秒。这为长资料输入后的交互响应提供测试参考。
持续提供服务的业务系统，还需要在固定 GPU 预算内评估单实例能承接多少请求。在平均输入约 8.5K Token、输出约 800 Token 的4 卡 Hopper吞吐测试中，模型达到约1.36 QPS，同时满足首 Token 时间 P50 小于 3 秒、相邻输出 Token 间隔 P90 小于 70 毫秒的测试约束。这为自有部署的容量规划提供参考。
