RecodeX 重构消息,谷歌、OpenAI、Anthropic与微软共同承诺支持robots.txt的一项新通用信号,该信号用于阻止网站内容被抓取用于AI训练。四家机构将推动这一机制成为行业共同遵循的标准。