RecodeX 重构消息,曾在Google DeepMind从事AGI安全研究的Engels三周前离职,加入非营利机构METR,此前他拒绝了OpenAI和Anthropic的邀约。Engels认为,前沿AI公司竞逐超级智能并推动AI参与更强AI的开发,若模型未充分对齐,局部错误可能进入加速反馈循环,且模型能力越强越难被理解和监督。他提出未来5年AI存在造成巨大伤害的可能,需让对齐、评测和监控能力跟上模型发展。
Anthropic前负责人Joe Benton也于两周前离职加入METR,他认为前沿公司安全投入与能力发展不匹配,公众对相关风险缺乏了解,希望推动企业披露进展并由独立机构验证安全标准。METR专注研究前沿AI能力与风险,核心是形成可检验的测量方法和风险证据,但独立评测缺乏法定监管权、依赖企业开放程度。