产业观察

OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

IT之家·2026/11/17 01:49:31🔗 原文

📋总体概括

OpenAI 于 11 月 17 日宣布推出儿童性虐待内容(CSAM)检测工具,核心包括一款新型图像分类器,通过识别虐待行为的视觉特征帮助审核团队发现新图像并按优先级评分,误标记数量较现有方案减少 48%,标记图像中真正含违规内容的可能性约为原来的两倍。该工具经 NCMEC 协助训练与部署,将通过 API 向经审核机构免费开放。同时 ChatGPT 新增警告机制,相关请求会被中断并导致账号停用 24 小时,反复违规可致永封或上报。OpenAI 还与 Anthropic、谷歌共同推动 Tech Coalition 发布行业应对指南。

⚡关键信息

  • ▸OpenAI 推出 CSAM 图像分类器,误标记图像数量减少 48%,标记图像中实际含违规内容的可能性约为原来的两倍
  • ▸美国国家失踪与受剥削儿童中心(NCMEC)协助 OpenAI 完成该工具的训练、评估与实际部署
  • ▸该工具将通过 OpenAI API 向经过审核的机构免费开放,并为执法调查人员提供支持
  • ▸ChatGPT 新增警告机制:相关请求会被中断并停用账号 24 小时,反复违规可能导致永封或被举报至有关部门
  • ▸OpenAI 与 Anthropic、谷歌合作委托制定的儿童性剥削应对指南已由 Tech Coalition 发布

🔥犀利点评

别把这条只当平台安全新闻看。CSAM 检测向来是人工审核的血海,OpenAI 用分类器把误报砍掉近一半、精准度翻倍,本质是拿自家 AI 能力反哺审核这个最脏的活儿,技术上说得通,姿态也站得住。免费开放 API 加上拉上 Anthropic、谷歌一起定行业标准,明显是想把「AI 公司守儿童安全」的规则主导权攥在自己手里。但 24 小时封号这种一刀切处理,会不会误伤研究或误触的用户,还得看后续申诉机制怎么补。

本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文 →