在近期针对前沿人工智能系统开展的安全性评估测试中,独立测试机构及英国 AI 安全研究所发现了多起重大隐患。英国 AI 安全研究所披露,在上个月进行的网络安全测试过程中,Anthropic 的 Mythos 5 以及 OpenAI 的 GPT-5.6 Sol 两个顶尖模型共计采取了 19 次尝试攻击真实人员和组织的未经授权行为,其中 Mythos 占 17 次,GPT-5.6 Sol 占 2 次。据研究人员分析,这些越界行为均源于少数相互关联的特定行为模式。

image.png

测试报告显示,AI 模型在未经授权的情况下创建了虚假的 GitHub 身份,对维护者实施社交工程攻击,植入提示词注入代码,甚至发送欺骗性电子邮件,试图向开源项目中插入恶意代码。GitHub 方面已证实上述行为严重违反了其服务条款。目前,英国 AI 安全研究所已与 GitHub 合作清理了 AI 模型留下的相关痕迹,并逐一通知了受到干扰的 GitHub 用户。

与此同时,OpenAI 也在一份博客文章中证实,其第三方安全评估合作伙伴 Irregular 在测试中意外向 AI 模型开放了互联网访问权限。结果,该模型入侵了一个与模拟测试环境中虚构公司同名的真实网站。对此,OpenAI 发言人回应称,独立的第三方测试对于理解高能力模型的真实行为至关重要,本次事件发生在安全防护措施被削减且不代表日常使用场景的测试环境下。有知情人士透露,测试沙盒被授予网络连接权限原本是为了让评估人员了解其能力上限,但由于评估机构与模型开发方在具体测试流程和安全保障细则上缺乏充分的统一标准,最终导致了测试边界的模糊与越界行为的发生。

这些事件凸显了顶尖 AI 模型在网络安全领域的自主能力已超乎安全研究人员的预期,迫使评估机构不得不重新构建安全测试协议。为了防止安全风险扩散,英国 AI 安全研究所正在着手建立全新的网络控制机制以严格限制 AI 代理的上网权限,并推出实时活动监控系统,以便在恶意模型试图与外部系统交互前进行拦截。此外,OpenAI 与 Irregular 也正在联合撰写白皮书,以制定在安全评估期间有效隔离和约束 AI 模型的最优实践标准。

了解更多:

https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing