最直接的变化是,60% 的评测权重首次建立在私有测试集或隐藏答案之上,用于压缩公开题库被模型训练数据“污染”的空间,减少了各厂商为了跑分而跑分的“注水”测试项目。
其中最值得关注的 FrontierCode 2.0 完全换了一套评分逻辑。132 项任务全部来自真实开源仓库,模型提交的代码改动不再只由单元测试是否通过来判定,而是由该仓库的维护者按“是否愿意合并这个 PR”来打分,任何一项阻塞性检查失败即记零分。
Cognition 在 6 月推出 FrontierCode 初版时就强调,传统基准只检查代码能否跑通,而合并决策还涉及改动范围是否克制、风格是否与代码库一致、回归风险是否可控等测试无法完全覆盖的维度。v5 将这一基准升级到 2.0 并纳入主指数,等于把“可合并性”而非“可运行性”推到了编码能力评价的中心。
Artificial Analysis 指出,v5 真正加剧的是开源与闭源前沿之间的整体距离。v4.3 时,最强开源模型与榜首的差距是 3 分;v5 把大部分公开题换成私有题、并大幅加重智能体实战任务的比重之后,这一差距扩大到 12 分。Kimi K3.1 Pro 以 46 分成为名义上最强的开源权重模型,但它尚未发布权重;已发布权重的模型中,32 分是当前的天花板。
v5 并没有让开源模型“一夜变差”,它改变的是测量的东西 —— 当题目不再公开、评分不再只看通过率,那些依靠公开题库优化出来的分数被系统性地挤掉了水分。
另一个被 v5 放大的变量是“努力值”的成本优势。Claude Opus 5.5 从低努力档到 max 档跨越 23 分,单任务成本从 0.98 美元升至 10.04 美元,相差约 10 倍。
Claude Sonnet 5.5 在不同努力档之间的分差从 v4.3 的 20 分扩大到 29 分,GPT-6.1 Sol 的跨度翻倍至 20 分。这意味着同一模型在“省钱模式”和“全力模式”下的表现差距,已经大到不像一个模型。
与 v5 同步推出的 Progress Index v1 则处理另一个问题:当基准本身每隔几个月就换一次,不同年代的模型如何放在同一把尺子上比较。Progress Index 将 2022 年 11 月以来发布的主要语言模型映射到一个连续的能力尺度上,其设计参考了 Epoch AI 的 Epoch Capabilities Index 的方法。Intelligence Index 继续作为衡量“当下前沿”的主指标,Progress Index 则用于观察“能力随时间如何演进”,两者回答的是不同问题。
特别
美国打[*]都没想到!当年把中国外逃的上千名贪官当成“香饽饽”,[*]活不肯遣返,明里暗里纵容他们,硬生生把自己捧成了头号“逃犯避风港”
奥立思特北交所上市闯关确认告败!筹谋A股IPO近五年仍无功而返背后:一份“难产”的问询回复函和两名被自律监管的保荐代表人
说好乖乖排队下楼,结果一看见妈妈就开启冲刺模式! # 幼儿园日常记录 #人类幼崽
手机最后一块玻璃也昆仑:华为Mate 90 Pro系列首发光学昆仑玻璃,耐摔能力提升20%
苹果打破传统!首款触屏MacBook Pro发布:双层OLED屏、灵动岛首次登场 22999元起










