透露 OpenAI 公司正在测试“深度循环”技术,可能导致研究人员更难解释模型的“思维链”推理过程。
而引发 AI 冲向不可监控状态竞赛的局面。我们目前最先进的模型的计算图深度与 GPT-4相比,差距不到两倍。 自我们最初的推理模型问世以来,OpenAI 就一直致力于维护和利用思维链监控。我们非常重视这项技术,因为它能让我们了解模型对齐如何从其训练分布中泛化。 我认为它目前还很脆弱,而且不幸的是,由于一些与架构变更无关的原因,它正朝着不利的方向发展。但我们可以采取一些措施来加强它,这也是我们当前研究项目的核心目标之一。
计算图深度是衡量神经网络模型架构复杂度的核心指标,指模型内部从输入到输出需要依次执行的计算层级数量。数值越大,表示模型内部计算层级越多、结构越复杂。










