RecodeX 重构消息，谷歌、OpenAI与Anthropic共同支持一项共享的robots.txt信号机制，用于标明网站内容是否允许被用于AI训练。该机制旨在让网站运营方通过现有的robots.txt协议表达对AI爬虫抓取与训练数据使用的意愿，为内容方与AI模型开发者提供统一的沟通标准。