Cloudflare 推出新设置：可允许搜索引擎爬取，同时拒绝 AI 训练

📋总体概括

Cloudflare 于9月15日推出新设置「Disallow AI Training」，让网站管理员可以在继续允许搜索引擎爬取内容的同时，拒绝网站数据被用于AI模型训练。苹果、谷歌、微软均已承诺遵守该设置。启用后，被标记为「可问责」的混合爬虫仍可抓取，其他AI训练爬虫将被拦截，但拦截可能影响网站搜索排名。原有Training设置为Block的网站将自动迁移至新选项。此外，谷歌将推出Google-Extended的URL层级透明度工具，苹果也在开发类似工具，微软计划2027年初支持robots.txt拒绝AI训练，三大平台与Cloudflare形成内容授权的初步行业规则。