RecodeX 重构消息，OpenAI、谷歌、微软和Anthropic共同支持一项共享的robots.txt策略令牌，允许内容发布方通过单一步骤阻止AI模型训练爬虫抓取内容。该令牌为发布方提供了统一的退出机制，无需针对各家爬虫分别设置。