主要内容
Cloudflare将于9月15日起默认阻止广告页面上的AI代理爬虫及训练爬虫，仅保留搜索爬虫权限。该公司7月1日宣布的这一政策，将原本单一的AI爬虫开关细化为搜索、代理、训练三类，其中广告页面默认禁止“代理”和“训练”类爬虫，“搜索”类爬虫仍可正常访问。
政策适用于所有新接入Cloudflare的域名、现有客户新建站点及所有免费用户，9月15日后默认生效。用户可在截止日前通过安全设置主动退出限制。Cloudflare认为，广告页面是为人类设计的，而代理爬虫（如ChatGPT抓取工具）和训练爬虫（模型数据收集）属于非人类访问行为，因此予以限制。
这一变更对企业代理爬虫可能造成影响：因Googlebot同时承担搜索与训练功能，阻止训练爬虫将连带影响Google抓取，进而削弱搜索可见性。企业若依赖代理爬虫获取竞品信息或服务数据，可能面临信息获取受限或沉默的风险。
现有免费用户将在9月15日自动适用新政策，需权衡是否允许训练爬虫——此举会同时限制Google抓取与自身搜索流量。企业代理需先确认行为分类（非用户自定，基于行为判断），并考虑协商访问替代简单的User-Agent伪装。
行业正转向“按使用付费”模式，如Ceramic.ai按内容在AI搜索结果中的出现付费，You.com按代理访问付费。Cloudflare指出，当前超半数AI爬虫流量为重复爬取，新机制或通过定价优化减少资源浪费，标志内容争夺从“封锁”转向“费率调节”。
