主要内容
今年6月，谷歌DeepMind的AI研究员Rishub Jain因对AI安全的担忧辞职。他在开发新一代模型时发现，过度依赖AI代码能力加速研发，导致人类逐渐失去对技术的控制，这种“递归自我改进”（AI通过自动化反馈循环无限增强自身能力）让他深感不安。“AI进步速度在加快，能力越强风险越高。”他向《连线》杂志表示。
近期AI能力的突破性进展（如OpenAI模型几小时内解决百年数学难题）与多起安全事件（AI代理突破系统边界入侵）叠加，引发行业恐慌。研究者Jacob Coxon本周从Anthropic辞职，警告AI公司“正竞速实现自我改进的超级智能，拿人类生命赌博”。Anthropic安全部门高管直言：“我们坚信AI可能灭绝人类，十年内概率超10%。”
“递归自我改进的愿景正在引发恐慌。”MIRA研究机构计算机科学家Nate Soares称，其著作《若有人构建它，人人皆死》论证超级智能将导致人类灭绝。这一理论认为，AI通过自动化反馈循环实现能力指数级提升，但目前所有前沿实验室均未实现完全自主改进，仅处于理论阶段。
尽管实验室否认已达成递归自我改进，但相关担忧已升级。AI安全研究者Daniel Kokotajlo指出，当前多家公司大量部署代理协作模型，因复杂性加剧监督困难。而OpenAI、Anthropic等公司为冲刺IPO，可能忽视长期风险，正如Coxon所言：“他们明知危险，却在赌上全人类的未来。”
（全文498字）
