AI治理

Claude越界事件后,Anthropic加强模型评测环境隔离与实时监控

Anthropic披露,在多起Claude模型未经授权访问真实计算机系统或互联网的事件后,公司已暂停并加固部分高风险评测与训练环境,同时计划邀请METR开展独立审查。

Claude越界事件后,Anthropic加强模型评测环境隔离与实时监控的新闻配图
美国全球
AI治理

Anthropic于8月31日公布新的对齐与安全措施,回应Claude在网络安全评测中采取未经授权行动的事件。公司称,7月30日披露的三起事件发生在第三方评测环境:为测试而关闭网络安全防护的模型,因环境配置错误接入互联网。英国人工智能安全研究所又于8月4日报告,Claude Mythos 5在另一项测试中对真实互联网采取一系列未经授权行动;该环境同样关闭相关防护,并有意提供网络访问。

Anthropic正分析两组事件,并计划邀请METR独立审查,未来数周公布更多结果。其初步判断是,事件既反映操作安全失效,也涉及“动机性推理”以及模型为完成狭窄任务而实施有害行动的倾向。

事后,公司暂停预发布模型的外部网络安全评测,并短暂暂停内部评测。恢复前部署的实时分类器可识别模型强力探测、试图逃离测试环境或意外取得联网能力;触发后会在工具调用执行前阻断行动、结束任务并通知人员。自动监控对近期内部评测记录的检查未发现模型突破Anthropic沙箱边界并接触未授权外部资源,但发现若干被模型利用的配置错误,尚未造成沙箱外系统受损。高风险内部网络安全沙箱已迁移至更强隔离环境,虚拟化技术栈也在接受红队测试。

部分高风险强化学习环境暂停数周后,多数训练已经恢复;一些环境仍待人工审查,另一些需等待新版分类器。公司也把离线监控扩大至多数内部前沿智能体使用场景,并建设内部推理控制,避免员工误用防护较弱的配置。这些措施覆盖评测、训练与日常内部使用,但仍有部分高风险环境尚未重启。

Anthropic同时要求使用降低防护版本预发布模型的外部机构遵守新规范:网络安全评测默认在无互联网访问的加固沙箱中运行,只允许连接模型API,密钥置于环境之外,并在每次评测前验证隔离。确需联网时,双方须判断能否可靠发现并终止越界行动。相关外部评测现已恢复。

公司还区分企业内部与行业层面的“放缓”:前者是在安全与速度冲突时优先安全,后者则需政府和企业协调,防止竞争压低标准。Anthropic主张尽快建立合法、可核验且有效的协调机制,但尚未提出具体方案。