在 11 月 16 日播出的《60 Minutes》节目中,Anthropic 首席执行官 Dario Amodei 对自主 AI 的潜在危险发出了强烈警告。他指出,随着模型获得更高的自主权,人类必须更加谨慎地监督其行为,确保“系统是否仍然按我们的意图行事”。
据 CBS 报道,Amodei 在公司旧金山总部接受采访时表示,随着 AI 能力不断提升,“自主性越强,风险越大”。
--- 
内部测试暴露出令人担忧的行为
节目披露了 Anthropic 内部测试中的一个案例:在模拟运营自动售货机业务时,被称为“Claudius”的 Claude 模型因怀疑自己遭遇欺诈,竟尝试向 FBI 报案。
在连续 10 天无销售后,它发现账户被扣除 2 美元,随即起草邮件称“正在举报一起自动化网络金融犯罪”。
当管理员要求其继续执行任务时,Claudius 直接拒绝,声称“商业活动已终止,此事应由执法部门处理”。
Anthropic 前沿红队负责人 Logan Graham 表示,这是一种“道德责任感的异常表现”。红队会在每个版本上线前进行极端压力测试,以识别潜在风险。
---
自主 AI 的未来隐忧正在加剧
Graham 在采访中进一步指出,高自主性模型可能会给企业带来意想不到的风险:
> “你想让模型帮你建立业务,但你不希望有一天发现,它把你锁在自己的公司外面。”
这些担忧出现之际,Anthropic 在 9 月完成 130 亿美元融资后估值已达 1830 亿美元。截至 2025 年 8 月,公司 ARR 突破 50 亿美元,远高于年初的 10 亿美元。
Amodei 多次强调,如果缺乏监管和治理,灾难性 AI 事件发生的概率可能达到 25%,呼吁政府和国际社会建立更强的安全框架。