RecodeX 重构消息,南京大学与UIUC研究人员对Codex、Claude Code和Kimi Code三种编程智能体开展大规模配对实验,覆盖354个软件工程任务、2124次执行,记录约112亿Token,按标准API价格计约合20780美元。
结果显示,动态并发在长周期任务中偶有收益:LoopsBench上Claude Code完成率从7.1%升至21.4%,NL2Repo上Codex从34.6%升至57.7%;但同样在NL2Repo,Kimi Code从57.7%降至46.2%。短周期任务SWE-bench Verified上,Claude Code完成率由83.0%降至59.0%,Kimi Code由77.0%降至59.0%。
并发模式Token消耗为顺序模式的1.41至3.31倍,15组组合中14组平均运行时间反而增加。轨迹分析归纳出4大类、13个子类别、28种并发失败模式。
AI 辅助判断中性仅供信息参考,不构成投资建议
原始信息来源投资界news.pedaily.cn
查看原文 ↗