RecodeX 重构消息,Cloudflare发布了一款新工具,允许网站阻止AI训练爬虫抓取内容,同时保持搜索引擎正常收录。该公司披露,混合用途爬虫占其网络上已验证爬虫流量的36.6%。