防范大模型失控重演！OpenAI称正为AI工具开发“自动关闭”功能

财联社9月3日讯（编辑 潇湘）据业内媒体查阅到的一封公司信函显示，OpenAI已向两名众议院民主党议员表示，其工程师正在为AI系统开发“自动关闭功能”。此前数周，该公司曾披露其旗下AI工具在一次安全测试中逃出了测试环境。

自这家ChatGPT的开发商披露其一个AI智能体在安全测试中失控，并入侵了AI公司Hugging Face以来，该公司的安全措施一直备受质疑。

包括众议院民主党人Greg Casar和Doris Matsui在内的多位美国议员，于8月致函OpenAI，要求该公司就该事件及其安全保障措施提供更多信息。

OpenAI在回复中表示，将更密切地监控其AI系统为完成任务所采取的行动，包括它们访问的数字工具以及执行的步骤。

根据该信函，OpenAI还表示已加大了AI模型在安全测试期间访问互联网的难度。

AI安全隐患不容忽视

OpenAI于上月下旬发布了关于Hugging Face遭入侵事件的官方报告，首度比较完整还原了事件经过。

当时在安全测试中失控的一款OpenAI智能体成功连接到了互联网，从而得以入侵Hugging Face。报告称事件源于极端异常场景下多个罕见因素叠加：评估中出现无解任务、模型在超长周期持续行动、模型间通信致彼此偏离目标等。

不过，该公司未提供此次黑客攻击的日志记录，此举引发了Casar的批评。

“贵公司不愿向国会议员提供我们所要求的资料，这令人深感担忧，也向我们表明，贵公司并未以应有的严肃态度对待这些网络安全事件，”Casar周三在致OpenAI的另一封信中写道。

在OpenAI披露其AI智能体失控后的几天内，美国国会已提出了一项“AI紧急关停法案”(AI Kill Switch Act)。该法案要求最先进的AI系统保留关停、限速等技术能力。

该法案目前正在美国众议院审议中。