RecodeX 重构消息,斯坦福大学与谷歌DeepMind研究团队开发出TURTLE系统,可将AI工具使用评测中的高难度任务占比从约20%提升至53%。该系统通过改造现有评测任务,评估AI在多应用间切换、执行多步骤长流程操作时的工具使用能力。

研究团队在10月21日修订的预印本论文《Evolving Self-tuning Benchmarks for Long-Horizon Tool Use》(arXiv:2610.27307)中公布了这一结果。论文所称165%的增长指高难度任务占比的相对变化,并非AI模型正确率的提升幅度。研究指出,固定不变的评测任务在模型熟悉后难以暴露新的失败类型。