RecodeX 重构消息,OpenAI于2026年10月30日发布公告称,将尊重网站运营者在robots.txt中标注的AI训练使用偏好通用信号,目标是在未来数月内完成实现,具体时间表与实现方式将后续公布,现有针对各爬虫的单独设置仍继续有效。

该通用信号名为“__usage_ai-training”,由提交至IETF的草案提出,允许网站运营者在robots.txt中一次性向多家企业表明其AI训练偏好。OpenAI表示,此举为自愿性措施,旨在减轻运营者需为不同厂商分别维护规则的负担。