主要内容
在特拉维夫的一间新公寓里，联网的灯熄灭了。覆盖其四个客厅和厨房窗户的智能百叶窗开始同时卷起。一台联网的锅炉被远程打开，准备开始为这个时尚的公寓供暖。公寓的居民并未触发这些动作。他们也没有安排智能设备的日程。事实上，他们正遭受攻击。每一个意外的动作都是由三名安全研究人员精心策划的，他们展示了对谷歌旗舰人工智能机器人 Gemini 的复杂劫持。
攻击始于一个被篡改的谷歌日历邀请，其中包含稍后打开智能家居产品的指令。当研究人员随后要求 Gemini 总结本周的即将到来的日历事件时，这些休眠的指令被触发，产品开始运行。
这些受控的演示标志着研究人员认为这是首次针对生成式 AI 系统的攻击在物理世界中造成后果——暗示着随着大型语言模型（LLM）的日益连接并转变为可为人完成任务的代理，可能会造成的混乱和风险。特拉维夫大学的研究员本·纳西（Ben Nassi）表示：“LLM 即将被整合到物理人形机器人、半自主和全自主汽车中，在我们将它们与这些机器集成之前，我们需要真正理解如何确保 LLM 的安全，在某些情况下，结果将是安全而非隐私。”他与以色列理工学院的斯塔夫·科恩（Stav Cohen）和安全公司 SafeBreach 的研究员奥尔·亚伊尔（Or Yair）一起开发了针对 Gemini 的攻击。
这三次智能家居攻击是研究人员称为“只需邀请”的针对 Gemini 的 14 次间接提示注入攻击系列的一部分。（2017 年导致 ChatGPT 等近期生成式 AI 突破的研究被称为“只需关注”。）在本周在拉斯维加斯举行的黑帽网络安全会议上的演示中，研究人员展示了如何让 Gemini 发送垃圾邮件链接、生成粗俗内容、打开 Zoom 应用程序并开始通话、从网络浏览器窃取电子邮件和会议细节以及从智能手机的网络浏览器下载文件。
谷歌 Workspace 安全产品管理高级总监安迪·温（Andy Wen）在接受 WIRED 的采访和声明中表示，虽然恶意黑客尚未利用这些漏洞，但公司将“极其认真”对待，并已引入多项修复措施。研究人员在 2 月向谷歌报告了他们的发现，并在最近几个月与处理这些漏洞的团队进行了会面。温表示，这项研究直接“加速”了谷歌推出更多针对 AI 提示注入攻击的防御措施，包括使用机器学习检测潜在攻击和可疑提示，并在 AI 采取行动时要求用户进行更多确认。“有时有些事情不应该完全自动化，用户应该参与其中，”温说。
Gemini 攻击大多始于日历邀请。在每个邀请中，研究人员都包含了一个间接提示注入，当被调用时，会导致 LLM 执行一些恶意动作。提示注入有时被称为越狱，是旨在“说服”AI 无视其安全设置并按照提示行事的消息，例如创建仇恨言论或不适当内容。间接提示注入被认为是最严重的 AI 安全问题之一，将事情提升了一个档次。恶意提示不是由用户输入，而是由外部来源插入。这可能是网站文本中包含的一套狡猾的指令，AI 会对其进行总结；或者是文档中白色字体的文本，人类不会注意到。