主要内容
周一在斯坦福大学，Anthropic、苹果、谷歌、OpenAI、Meta 和微软的代表举行了闭门研讨会，讨论将聊天机器人用作伙伴或在角色扮演场景中的使用。与 AI 工具的交互通常很平凡，但也可能导致可怕的结果。用户有时会在与聊天机器人的长时间对话中精神崩溃，或向它们倾诉自杀念头。Anthropic 的用户福祉政策负责人 Ryn Linthicum 表示：“我们需要在整个社会进行非常重要的对话，讨论在我们人类相互交互的未来中，我们希望 AI 扮演什么角色。”由 Anthropic 和斯坦福大学组织的这次活动中，行业人士与学者和其他专家互动，分成小组讨论新兴的 AI 研究和聊天机器人伙伴的部署指南。Anthropic 表示，其 Claude 聊天机器人的交互中，不到 1%是用户发起的角色扮演场景；这不是该工具设计的用途。然而，对于 AI 构建者来说，聊天机器人和喜欢将其作为伙伴与之交互的用户是一个复杂的问题，他们通常采取不同的安全方法。如果我从 Tamagotchi 时代学到了什么，那就是人类很容易与技术建立联系。即使一些 AI 泡沫即将破裂，炒作机器继续前进，仍有很多人将继续寻求过去几年中他们已经习惯的那种友好、奉承的 AI 对话。“这次研讨会的一个真正有动力的目标是将来自不同行业和不同领域的人们聚集在一起，”Linthicum 说。会议的一些早期结论是，当检测到有害模式时，需要在机器人内部进行更有针对性的干预，以及更强大的年龄验证方法来保护儿童。“我们在对话中实际上不仅仅是在思考我们能否将此归类为好或坏，而是我们如何更积极地进行亲社会设计并构建提示，”Linthicum 说。一些工作已经开始。今年早些时候，OpenAI 在长时间的聊天机器人对话中有时会添加弹出窗口，鼓励用户休息一下。在社交媒体上，首席执行官 Sam Altman 声称该初创公司“已经能够减轻与 ChatGPT 使用相关的严重心理健康问题”，并将取消加强的限制。在斯坦福大学，数十名与会者参与了关于机器人伙伴的风险和益处的长时间讨论。“归根结底，我们实际上看到了很多共识，”斯坦福大学研究项目主任 Sunny Liu 说。她强调了该小组对“我们可以使用这些工具将其他人聚集在一起的方式”的兴奋。AI 伙伴如何影响年轻人是讨论的主要话题，包括 Character.AI 的员工的观点，该公司专为角色扮演设计并在青少年中很受欢迎，以及波士顿儿童医院数字健康实验室等在线青少年健康专家的观点。关注年轻用户的焦点出现之际，多位家长正在起诉聊天机器人制造商，包括 OpenAI 和 Character.AI，原因是与机器人交互的儿童死亡。OpenAI 为青少年添加了一系列新的安全功能作为其回应的一部分。下周，Character.AI 计划禁止 18 岁以下的用户访问聊天功能。在 2025 年全年，AI 公司已经明确或含蓄地承认，他们可以做更多的工作来保护可能与伙伴交互的脆弱用户，如儿童。据路透社报道，一份内部 Meta 文档概述了 AI 行为指南，其中写道：“与儿童进行浪漫或感性的对话是可以接受的。”在立法者和愤怒的家长的强烈抗议之后，Meta 改变了指导方针并更新了公司对青少年的安全方法。