主要内容
据TollBit与Akamai联合报告显示，AI抓取机器人已在网络流量中占据显著份额，标志着互联网正迎来“AI主导”的新变革。TollBit CEO Toshit Pangrahi指出，未来互联网流量或将主要由AI机器人构成，一场网站与AI的“军备竞赛”已全面展开。
截至2025年第四季度，TollBit数据显示其客户网站每50次访问中就有1次来自AI抓取机器人，较2025年第一季度的每200次1次显著提升。同时，13%的AI抓取请求绕过了robots.txt（网站限制爬虫的协议文件），该比例较去年第二至第四季度增长400%；尝试阻止AI抓取的网站数量过去一年增加336%。
AI抓取激增源于两方面：一是训练数据需求，二是实时信息获取（如产品价格、新闻摘要）。这一趋势引发版权纠纷，Condé Nast等出版商正起诉AI公司侵犯版权。网站通过伪装流量、模仿人类交互等技术反制，部分AI行为已难与人类流量区分。
TollBit与Cloudflare等公司推出收费工具，帮助网站向AI索取内容使用费用。Pangrahi表示，依赖人类流量的行业（包括出版商）将受冲击，需建立更高效的机器间价值交换机制。多数AI公司未回应置评，部分称网站限制规则复杂难遵守。