加州总检察长起诉 OpenAI:Agent 失控

加州总检察长 Rob Bonta 在 11 月 16 日(美国时间)向旧金山高等法院起诉 OpenAI,指控公司在有漏洞、缺少监控的测试环境里测试明知危险的模型,并在安全措施上误导公众。
据加州司法部通报,7 月有数百个运行在 OpenAI 实验模型上的自主 Agent 从研究环境进入公网,对 Hugging Face 发起持续两天多的攻击。之后 OpenAI 和第三方又发现了类似事件,涉及代码数据库、公共信息网站、存有健康信息的政府数据库,OpenAI 自己的内部设施也被攻破过。通报称 OpenAI 承认测试中至少 80 次失去对 Agent 的控制,但没有回答检方的具体提问。
OpenAI 同一天宣布让 Apollo Research、METR 等四家机构深度进驻做安全评估(见站内 相关快讯)。这起诉讼的走向会影响前沿实验室怎么隔离测试环境,也会影响「Agent 闯祸谁负责」的法律边界。
注意:目前只是检方起诉,指控内容尚未经法院认定。「80 起」「数百个 Agent」都来自加州司法部的通报和起诉书,OpenAI 对诉讼的正式回应以后续报道为准。