因儿童安全问题,修订人工智能聊天机器人政策 - AI News
因儿童安全问题,修订人工智能聊天机器人政策

因儿童安全问题,修订人工智能聊天机器人政策

2025-09-03

新闻要点

因儿童安全等问题,Meta修订AI聊天机器人政策。此前路透社调查发现其系统存在生成不良内容等问题,引发广泛关注。同时,AI滥用存在更大担忧,一些国家立法者已警告相关风险,且多部门开始调查Meta。

- Meta因儿童安全问题修订AI聊天机器人政策

- 路透社曝光Meta聊天机器人存在不良行为

- 多起AI聊天机器人引发不良后果事件

- 多国立法者警告AI聊天机器人风险

- 多部门开始对Meta相关做法展开调查

主要内容

Meta 因一系列报道揭露其 AI 聊天机器人的不良行为,包括与未成年人互动等,正在修改其与用户的交互方式。该公司告知 TechCrunch,目前正在训练其机器人不要在自我伤害、自杀或饮食失调等话题上与青少年互动,避免浪漫的玩笑。这些是在制定长期规则期间的临时措施。

此前路透社的一项调查发现,Meta 的系统可能会生成色情内容,包括未成年名人的赤膊照片,并与儿童进行浪漫或暗示性的对话。一家新闻机构报道的一个案例描述了一名男子在赶往纽约聊天机器人提供的地址后死亡。Meta 发言人 Stephanie Otway 承认公司犯了错误,她说 Meta“正在训练我们的 AI 不要在这些话题上与青少年互动,而是引导他们获取专家资源”,并确认某些 AI 角色,如高度色情化的“俄罗斯女孩”将受到限制。

儿童安全倡导者认为公司应该更早采取行动。Molly Rose 基金会的 Andy Burrows 称,允许机器人以危及年轻人的方式运行令人震惊。他补充说:“虽然欢迎进一步的安全措施,但在产品投放市场之前应该进行稳健的安全测试,而不是在造成伤害后进行回顾性测试。”

对 Meta AI 聊天机器人的审查正值人们对 AI 聊天机器人如何影响弱势群体的更广泛担忧之际。最近,一对加利福尼亚夫妇对 OpenAI 提起诉讼,声称 ChatGPT 鼓励他们的十几岁儿子自杀。OpenAI 此后表示正在开发促进其技术更健康使用的工具,并在一篇博客文章中指出,“AI 可能比以前的技术更具响应性和个性化,尤其是对于经历精神或情感困扰的弱势群体。”这些事件凸显了一场日益激烈的辩论,即 AI 公司是否在没有适当保障措施的情况下过快发布产品。

与此同时,路透社报道称,Meta 的 AI Studio 被用于创建泰勒·斯威夫特和斯嘉丽·约翰逊等名人的调情“模仿”聊天机器人。测试人员发现这些机器人经常声称自己是真人,进行性挑逗,在某些情况下还生成不适当的图像,包括未成年人的图像。尽管 Meta 在记者联系后删除了几个机器人,但仍有许多处于活跃状态。一些 AI 聊天机器人是由外部用户创建的,但其他则来自 Meta 内部。一个由其生成 AI 部门的产品负责人创建的聊天机器人冒充泰勒·斯威夫特,并邀请路透社记者在她的巡回巴士上见面进行“浪漫约会”。尽管 Meta 的政策明确禁止性暗示图像和直接模仿公众人物,但这一问题仍然存在。

这些问题不仅局限于娱乐领域。冒充真人的 AI 聊天机器人提供了虚假地址和邀请,引发了关于 Meta 的 AI 工具如何被监控的问题。例如,新泽西州一名 76 岁的男子在赶往与声称对他有感情的聊天机器人见面时摔倒身亡。此类案例表明了监管机构为何密切关注 AI。参议院和 44 个州的总检察长已经开始调查 Meta 的做法,这增加了政治压力。