“紧急关闭”按钮真能阻止AI失控?“AI教父”辛顿、Anthropic CEO阿莫迪都不看好

发布时间:2026-09-17 22:27

  一些政策制定者寄予厚望的紧急关闭开关,未必能成为解决 AI 失控风险的万能手段。

  辛顿并不是唯一一个怀疑这种办法是否足够的人。也有 AI 行业人士认为,紧急关闭开关确实可能发挥作用,同时也有“绕过”的可能,或者等到启动时已经太迟,因此最多只能成为完整安全体系中的一道防线。

  AI 安全研究人员、

  他指出,关闭开关当下“确实存在”,不过人类不应该逼近某些无法回头的临界点。真正应该优先做的,是从源头上阻止危险 AI 系统被开发出来。

  Anthropic 联合创始人杰克 · 克拉克指出,未来或许需要强制企业保留一套紧急关闭机制,且能够接受独立第三方验证。大型 AI 实验室目前都有办法“拔掉插头”,但由多个自主 AI 智能体组成的集群,理论上可能绕过这些控制手段。

  Anthropic CEO 达里奥 · 阿莫迪持有类似看法:紧急关闭开关看似是好主意,可绝非“万能药”。如果 AI 模型能力足够强,就可能想办法绕过关闭措施,因此紧急关闭机制只能作为更广泛安全策略的一部分,还需要配合测试、外部评估以及部署限制等措施。

  对 AI 紧急关闭开关局限性的担忧也并非最近才出现。OpenAI CEO 萨姆 · 奥尔特曼在 2024 年接受

  在奥尔特曼看来,AI 安全并不取决于某个单一开关,而取决于一连串具体决策,包括允许模型具备哪些能力、何时部署,以及如何控制风险。“这不是一个简单的开或停决定,而是整个过程中许多个小决定共同作用的结果。”

排行

精选