Cloudflare推出新工具:可阻止AI训练爬虫同时放行搜索引擎
RecodeX 重构消息,Cloudflare发布了一款新工具,允许网站阻止AI训练爬虫抓取内容,同时保持搜索引擎正常收录。该公司披露,混合用途爬虫占其网络上已验证爬虫流量的36.6%。
持续追踪Cloudflare反AI爬虫工具相关报道与进展。
关注仅保存在当前浏览器和域名中,无需登录,不会自动跨设备同步。RecodeX 重构消息,Cloudflare发布了一款新工具,允许网站阻止AI训练爬虫抓取内容,同时保持搜索引擎正常收录。该公司披露,混合用途爬虫占其网络上已验证爬虫流量的36.6%。