OpenAI欲防止深度伪造淹没儿童虐待举报热线

新闻要点

OpenAI宣布推出可识别AI生成儿童性虐待材料(CSAM)的分类器,旨在帮助执法机构从激增的虚假报告中筛选真实线索。该工具在2025年NCMEC接收40万份相关报告背景下发布,宣称能将误报率降低48%,并免费向验证组织开放。此举被视为与州政府合作预防伤害的新尝试,但北卡罗来纳州总检察长Jeff Jackson强调这仍是一个实验性项目。

正文

OpenAI在华盛顿发布了一款新型内容分类器,旨在协助儿童性虐待调查人员从海量举报中快速甄别有害材料。该工具特别针对包含儿童受虐内容的图像,能够识别其是否由人工智能生成,并优先处理真实受害者的案件。目前,经过审核的机构可免费使用该系统,OpenAI也借此向开发者提供检测指导,并协助执法人员利用AI技术辅助调查。

此举正值美国政策制定者对AI安全施加更大压力的背景之下。随着生成式AI工具的普及,非法内容数量激增,导致国家失踪与被剥削儿童中心(NCMEC)的网络举报热线面临崩溃风险。2025年该中心接收了40万份与生成式AI相关的举报,较2024年的6.7万份呈指数级增长。北卡罗来纳州总检察长杰夫·杰克逊指出,若此类爆炸性增长持续下去,调查系统将难以承受,甚至可能无法履行保护儿童的核心使命。

OpenAI声称,新分类器将误报率降低了48%,且被标记为有害的图片中包含真实受虐内容的可能性是普通工具的的两倍。这是首个专门标识AI生成材料的广泛可用CSAM分类器。此外,OpenAI更新了ChatGPT的安全机制:用户首次尝试生成此类内容将被暂停访问24小时,并收到寻求专业帮助的警告;所有相关实例均会向NCMEC报告。

各州总检察长杰克逊表示,虽然已有48个州立法禁止合成色情内容,但与技术公司合作预防伤害仍属新颖的实验性举措。他强调了这种从“事后追责”转向“事前预防”的合作模式意义。与此同时,包括North Carolina在内的多个州正推动更严格的政策,要求科技公司更快删除非自愿亲密图像,以应对日益严峻的数字儿童安全风险。

评论 0

逛逛 Pop ↗
奖励 100 宝石

评论审核通过后可获奖励,与 Pop 共用每日 3 条额度,同一新闻每天奖励一次。

还没有评论,来分享第一个想法吧。

提交反馈

每一个想法,都让 Mergeek 更好一点。