根据 Cloudflare 的博客，该公司已向所有客户提供了 “阻止 AI 训练” 设置。根据 PANews 的报道，该设置允许网站在被搜索引擎索引的同时拒绝其内容用于 AI 模型训练，从而解决了搜索和训练依赖同一爬虫所带来的权衡问题。Cloudflare 还引入了 “负责任” 的爬虫操作员认证。要获得认证，操作员必须提供训练和 AI 摘要的选择退出选项，披露 URL 级别的索引状态，并承诺选择退出训练不会影响搜索排名。苹果、谷歌、微软、亚马逊、Anthropic、Meta 和 OpenAI 获得了这一认证。Cloudflare 表示，大约 17% 的网站启用了某种形式的阻止训练机制，而阻止搜索爬虫的网站不到 1%。