Harness Evolution评估研究

RecodeX 重构消息，清华大学、智谱及合作方推出HarnessPro，让智能体在无参考答案的情况下分析自身运行记录并重写其运行框架（harness）。该方法使任务通过率提升2个百分点，单任务成本下降26.1%。

RecodeX 重构消息，Harness公布其安全编码工具在分布外测试中的成绩：在SecRepoBench上secure-pass@1达到66.7%，在BaxBench上达到53.6%，均高于所列最强竞品。

RecodeX 重构消息，IQuest Research联合北京航空航天大学、曼彻斯特大学等机构推出ModularRSI框架，在基础模型全程冻结的前提下，让Agent依托自身执行经验持续迭代优化外围运行机制Harness，实现递归自我改进。该框架将Harness拆分为五个独立模块分别演化，通过多轮轨迹对比筛选系统性缺陷，经三道验证机制过滤特化修改后再整合各模块能力。

在Terminal-Bench 2.0测试中，该框架将准确率从47.57%提升至52.43%。实验显示，Harness层面的改进可跨任务、跨领域迁移，甚至能适配未参与演化的不同基础模型。研究还发现，中等难度任务数据最能支撑Harness提取通用执行机制，其演化出的是可复用的通用执行规则，而非简单的经验记忆。

RecodeX 重构消息，一项题为《关于编码代理束缚设计的一项实证研究》的学术成果对外发布，聚焦编码代理（Coding Agents）的束缚（Harness）设计问题。该研究以实证方法考察束缚设计对编码代理表现的影响，属于AI编程工具底层工程与评估方向的研究进展。

RecodeX 重构消息，字节跳动Seed、TokenWave等机构研究者提出Self-Developing Agents研究方向，并发布ASPIRE、S³Gym和HarnessDev三项基准，分别研究Agent如何从模糊目标中学习、能否从经验中学习，以及执行系统（Harness）改进能否保留。

ASPIRE包含6个能力目标、520道专家编写的隐藏评测题及48对“模糊目标／明确任务”匹配运行；实验中30个单元仅1个增益被保留，LoRA使用率从24.1%升至89.8%。S³Gym在七个文字游戏中研究自我测试、自我判断与自我改进，发现自我判断准确度与后续收益关联很弱。HarnessDev则显示，开发阶段的正向反馈未必迁移到隐藏任务，部分系统修改因破坏原有功能被回滚。

RecodeX 重构消息，AI2与华盛顿大学联合发布论文《Rethinking the Evaluation of Harness Evolution for Agents》，在Terminal-Bench 2.1上对比了四种使用五次推理预算的方式。实验使用Claude Opus 4.6、GPT-5.4和GPT-5.4 mini，均从仅含bash工具、无Skills、无Middleware、无持久化Memory的简单Harness出发。

在移除单元测试、缺乏可靠外部反馈的条件下，初始简单Harness平均得分68.2；Parallel Sampling提升至72.3，Sequential Refinement为69.3，Harness Scaling为71.8，而采用AHE实现的传统Harness Evolution仅为67.4，未超过初始水平。研究还发现，进化出的Harness迁移到未参与优化的新任务时，提升仅剩很小一部分。