RecodeX 重构消息，OpenAI、谷歌、微软与Anthropic将遵循一项写入robots.txt的IETF政策令牌，用于表达网站对AI抓取的偏好。网站只需在标准位置一次性声明其偏好。谷歌与微软将于2027年开始执行该标准。由于AI抓取行为早于该标准多年出现，这一同意层机制的落地相对滞后。