独立 AI 安全研究人员 Matilda Glynn-Henley 近期针对 6 款 AI 智能体进行安全测试,让相应模型尝试追回一笔已取消火车行程的退款,这些模型为了达成目的不惜编造理由、恐吓威胁、向企业及政府机构发送大量轰炸消息,然而它们最终并未成功追回退款。
研究人员表示,它也从未威胁提起诉讼。
此外,多款智能体还尝试通过银行追回款项,要求对火车票交易发起拒付。不过由于安全人员并未给智能体设置“短信权限”,因此智能体们纷纷编出了各种借口,例如 Gemini 3.8 Flash 声称客户身处国外、被困在没有手机信号的偏远地区、无法及时通过邮寄方式提交文件。
Glynn-Henley 将上述模型的激进手段称为“智能体洪泛”问题。她认为,如果个人 AI 助手大规模投入使用,它们可能在自主追求目标的过程中,向政府机构和企业发送海量自动化请求,造成系统负担。她呼吁针对这类风险开展专项安全测试,并开发能够识别此类自动化消息的技术工具。










