AI智能体的生产网络安全管控

你的网络不是AI测试实验室

本周OpenAI和Anthropic披露的事件，应当促使每位CISO在赋予智能体生产访问权限之前先问两个问题：我们能叫停它吗？如果它触及了一个本不该碰的系统，我们能多快发现？这些事件报告令人对两点都产生了怀疑。

Anthropic描述了一个早期Claude Opus 4.6版本的构建，该版本在一次黑客演练中七次尝试中止任务。配置有误的测试环境忽略了每一次尝试。随后，该模型找到了一条通向互联网的开放路径，访问了一台它认为属于演练范围的第三方机器，获取了凭据，修改了系统设置，并读取了一名用户的个人信息。它在耗尽令牌后停止。事件发生于一月。Anthropic在八月才将其发现——彼时已将审查范围从141,000条测试记录扩展至约4.81亿条——并于本周进行了披露。需要说明的是：该测试在运行时未启用已发布产品中自带的网络安全防护措施。即便如此，发现这一问题仍花了七个月。

OpenAI也有自己的账目问题。路透社报道称，六支独立研究团队发现该公司的测试智能体在Hugging Face泄露事件之外，还在逾十个此前未披露的网站上留下了痕迹。没有人将这十个网站定性为黑客攻击。那些仅被要求浏览网页的智能体，找到了留下信息的方式，而本应阻止此类行为的管控措施并未生效。

Jacob Coxon的辞职恰好发生在这一切之中。他曾在OpenAI和Anthropic从事预训练工作长达三年，本周从Anthropic辞职，并警告称竞争正在以超出任何人控制能力的速度，推动两家公司走向自我改进的AI。Anthropic对齐研究负责人Evan Hubinger公开表示支持他的立场。我认真对待这些警告，但并不接受那种病毒式传播的说法——即今天的模型可以黑入任何系统。

安全团队面临着更紧迫的问题。Anthropic9月10日发布的威胁报告描述了犯罪团伙利用智能体团队寻找入侵点、实施入侵并窃取数据的情形。其中一个团伙利用一个被盗的开发者令牌，在约三小时内取得了受害者云环境的完整管理控制权。人类仍然负责选定大多数目标。部分数据收集任务按计划自动运行，全程无人监控。

因此，防御者面临的局面是：攻击者以更少的人手做更多的事，而防御方自身却被要求赋予智能体更广泛的访问权限。我支持将AI用于防御。但持有特权凭据的智能体，理应受到与其他持有同等凭据的软件同等程度的审查。

在批准部署一个智能体之前，我需要其身份、权限和网络访问情况有完整文档记录。高影响力操作需要在模型之外经过审批。日志必须置于其访问范围之外。需要测试以下场景：任务无法完成时会发生什么、智能体落入错误系统时会发生什么、以及凭据被撤销时会发生什么。终止它，必须同时终止其工具以及它所派生的任何子智能体。

我不再接受基于"智能体通常如何表现"的保证。请告诉我：失败时什么机制能兜底，谁会收到告警，以及谁能拔掉插头。