主要内容
Anthropic已撤回针对新AI模型Claude Fable 5的隐蔽限制政策,此前该政策通过降低模型性能阻止竞争对手开发AI,因遭AI研究社区强烈反对而调整。公司在声明中称,将改为对用户可见的安全措施,承认“之前的权衡存在错误”并致歉。
Claude Fable 5原设计中,对网络安全、生物、化学等领域问题会重定向至低能力模型,但对前沿AI开发需求的研究人员,Anthropic曾隐蔽降低模型性能,以阻止其训练竞争模型(违反服务条款)。
新政策下,若系统怀疑用户用于开发高性能AI,将明确警告或重定向至低能力模型。此前Anthropic已限制竞争对手用Claude开发闭源/开源模型,此次隐蔽降性能的做法被批评“越界”。
AI研究社区反对称,此举可能导致仅少数领先实验室能开展先进AI研究,损害协作(如开发者依赖Claude编码代理的情况),且可能阻碍第三方评估机构对模型安全性的测试工作。
Anthropic此前担忧AI能力提升过快,希望“暂停前沿开发”以适应社会结构和安全研究,但此次撤回政策显示其策略调整。