RecodeX 重构消息,谷歌、Anthropic等公司表示支持一项新的AI爬虫退出标准,允许网站通过统一机制声明是否允许AI爬虫抓取内容。该标准旨在为内容方与AI训练数据采集之间提供可识别的退出选项。