RecodeX 重构消息，OpenAI、谷歌、微软与Anthropic将共同支持一项新的AI训练偏好信号，网站可在robots.txt中用统一策略标记内容是否可用于生成式AI模型训练，无需逐家配置规则。该机制源自技术人员提交的草案，引入跨厂商通用标记，与现有robots.txt语法完全兼容，支持通过Allow指令设置目录级例外，仅表达用途偏好，不控制爬虫访问行为，也不影响网站在搜索引擎中的收录与排名。

落地进度上，Anthropic已率先采用，OpenAI计划未来数月内实现，谷歌与微软预计2027年支持。该机制为自愿性约定，对未参与厂商无约束力，且不追溯已抓取的历史数据。微软还将提供更细粒度的AI检索引用控制选项。