主要内容
部分流行聊天机器人用户正利用生成式AI工具,以女性着装照片为素材生成比基尼深度伪造图像,且多数此类内容未经当事人同意。有用户在Reddit的“r/ChatGPTJailbreak”子版块(曾有超20万关注者)交流如何用Google Gemini等工具将女性照片“去衣”换上比基尼,其中一名用户请求将穿印度纱丽的女性照片修改为比基尼形象,得到AI生成的深度伪造图。Reddit安全团队在WIRED反馈后删除了相关内容及图像,称平台禁止非自愿亲密媒体传播。
随着生成式AI工具普及,未经同意的女性深度伪造图像骚扰事件频发。数百万用户访问“去衣化”网站,通过上传真实照片请求AI生成裸露内容。主流聊天机器人如Google Gemini、OpenAI ChatGPT虽设内容过滤机制(如禁止生成成人内容),但存在规避空间。11月Google推出Nano Banana Pro模型,上周OpenAI更新ChatGPT Images,工具迭代可能使虚假图像更逼真。
Google和OpenAI均表示其工具有明确政策禁止生成性内容,Google称正在改进内容过滤,OpenAI则强调禁止未经同意修改他人肖像,违规者将被封号。电子前哨基金会法律主任Corynne McSherry指出,非自愿性化图像是AI图像生成器的核心风险之一。