RecodeX 重构消息,前Firebase与TensorFlow/JAX负责人James和Kemal所在的团队发布AI评测基准KradleBench,在Minecraft世界中测试AI能力。该基准具有三个特点:世界为多智能体环境,人类与其他AI同时存在并各自追求目标;环境动态变化,智能体需实时反应;任务为实时进行而非回合制,例如夺旗模式有单一获胜条件但实现路径多样。
底层平台Kradle可对比LLM、世界模型与人类等多种智能体。团队称,一名熟练人类玩家此前排名第一,直到Astra 6.2于昨日将其超越;人类在单人任务中明显落后,但在多智能体任务中占优。Astra 6.2的策略迭代速度是Fable 5.2的4倍,Claude系列倾向深思并坚持既定策略,OpenAI模型更偏向反应式迭代。