RecodeX 重构消息,复旦大学等机构研究者推出LoLBench评测基准,将代码Agent置于平均约240万行代码的大型软件系统中,考察其从功能提案到模块交付的完整长程任务能力。该基准覆盖29个系统、8种语言、5个领域的100项任务,结合新增功能测试与回归测试验证交付正确性。
对28种前沿Agent组合的实验显示,最高任务解决率仅14%,大量交互与Token消耗集中在代码定位环节,定位准确率低、覆盖不全。即便额外提供修改文件树与API实现规范,最佳组合解决率也仅提升至34%,仍有66%任务无法完成,暴露出易遗漏跨模块同步改动的关键断点。