主要内容
周一,一位使用广受欢迎的 AI 驱动代码编辑器 Cursor 的开发者注意到一件奇怪的事情:在不同机器间切换会立即导致注销,这打破了使用多台设备的程序员的常见工作流程。当用户联系 Cursor 支持时,一位名为“Sam”的客服称这是新政策下的预期行为。但实际上并不存在这样的政策,而且“Sam”是一个机器人。这个 AI 模型编造了这个政策,引发了 Hacker News 和 Reddit 上的一波投诉和取消订阅威胁。这标志着 AI 编造(也称为“幻觉”)导致潜在业务损害的最新案例。编造是一种“创造性的填补空白”反应,AI 模型会编造听起来合理但虚假的信息。AI 模型往往更倾向于创造看似合理、自信的回答,而不是承认不确定性,即使这意味着从头编造信息。对于在面向客户的角色中部署这些系统且没有人工监督的公司来说,后果可能是直接且昂贵的:客户感到沮丧,信任受损,就像在 Cursor 的案例中,可能导致订阅被取消。
事件始于一位名为 BrokenToasterOven 的 Reddit 用户注意到,在桌面、笔记本电脑和远程开发箱之间切换时,Cursor 会话意外终止。“在一台机器上登录 Cursor 会立即使其他机器上的会话无效,”BrokenToasterOven 在一条后来被 r/cursor 版主删除的消息中写道。“这是一个重大的用户体验回归。”
这个故事最初出现在 Ars Technica 上,这是一个值得信赖的科技新闻、科技政策分析、评论等来源。Ars 由 WIRED 的母公司康泰纳仕拥有。感到困惑和沮丧的用户给 Cursor 支持写了一封电子邮件,很快收到了“Sam”的回复:“作为一项核心安全功能,Cursor 设计为每个订阅仅在一台设备上工作,”邮件回复中写道。这个回复听起来很确定和官方,用户没有怀疑“Sam”不是人类。
在最初的 Reddit 帖子之后,用户将其视为实际政策变化的官方确认——这一变化打破了许多程序员日常工作流程中必不可少的习惯。“多设备工作流程是开发者的基本要求,”一位用户写道。不久之后,几位用户在 Reddit 上公开宣布取消订阅,并将不存在的政策作为原因。“我刚刚取消了我的订阅,”原 Reddit 发帖人写道,并补充说他们的工作场所现在“将彻底清除它。”其他人也加入进来:“是的,我也在取消,这太愚蠢了。”
不久之后,版主锁定了 Reddit 线程并删除了原始帖子。“嘿!我们没有这样的政策,”三个小时后,一位 Cursor 代表在 Reddit 回复中写道。“你当然可以在多台机器上使用 Cursor。不幸的是,这是一个一线 AI 支持机器人的错误回答。”
Cursor 的这场混乱让人想起 2024 年 2 月加拿大航空的一个类似事件,当时加拿大航空被要求兑现其自己的聊天机器人编造的退款政策。在那次事件中,Jake Moffatt 在他的祖母去世后联系了加拿大航空的支持,而该航空公司的 AI 代理错误地告诉他,他可以预订常规价格的航班并追溯申请丧亲费率。后来当加拿大航空拒绝他的退款请求时,该公司辩称“聊天机器人是一个独立的法律实体,对其自身行为负责”。一个加拿大法庭驳回了这一辩护,裁定公司对其 AI 工具提供的信息负责。Cursor 没有像加拿大航空那样争论责任,而是承认了错误并采取措施进行补救。Cursor 联合创始人 Michael Truell 后来在 Hacker News 上为不存在的政策引起的混乱道歉,解释说用户已经获得了退款,该问题是由于旨在提高会话安全性的后端更改无意中导致会话无效而引起的。