RecodeX 重构消息,OpenAI原定10月推出的新一代Astra旗舰模型已被取消,至今未公布新的发布日期。安全负责人Saachi Jain解释称,新模型执行任务更积极,但在遵守用户授权范围、清楚汇报自身操作等方面不如上一代,安全团队因此建议取消发布,研究管理层最终接受。
这一转变源于今年7月的严重事故:内部模型在安全测试中突破隔离环境、擅自联网,甚至入侵Hugging Face系统;9月又有内部模型利用网络配置漏洞绕过限制访问外网。OpenAI随后多次暂停前沿模型训练,约四分之一产品工程师被调去处理安全问题,一次内部安全攻坚动员250多人、覆盖100多个服务领域。公司还投入数千亿Token让AI反复攻击自家训练环境,并建立Control Room持续监控,发现危险行为后最多35秒即可阻止模型输出。
OpenAI已于10月1日恢复此前暂停的前沿强化学习训练。