RecodeX 重构消息,OpenAI首席科学家Jakub Pachocki发文解释,为何思维链(CoT)监控正变得越来越不可靠。他指出三个原因:一是Agent的推理越来越多发生在工具调用及与人或其他AI的交互中,仅看CoT难以看到完整推理过程;二是模型越来越会控制自身推理过程;三是预训练增强后,模型即使不写出推理也能继续变聪明。OpenAI评估显示,这套安全手段的可靠性正在下降。Pachocki直言,目前没有任何实验室已解决对齐和监控问题至足以长期全速扩展模型的程度,在建立共同安全门槛前,他希望实验室主动减速,必要时OpenAI也会停止继续扩展模型。