RecodeX 重构消息,字节跳动Seed、TokenWave等机构研究者提出Self-Developing Agents研究方向,并发布ASPIRE、S³Gym和HarnessDev三项基准,分别研究Agent如何从模糊目标中学习、能否从经验中学习,以及执行系统(Harness)改进能否保留。
ASPIRE包含6个能力目标、520道专家编写的隐藏评测题及48对“模糊目标/明确任务”匹配运行;实验中30个单元仅1个增益被保留,LoRA使用率从24.1%升至89.8%。S³Gym在七个文字游戏中研究自我测试、自我判断与自我改进,发现自我判断准确度与后续收益关联很弱。HarnessDev则显示,开发阶段的正向反馈未必迁移到隐藏任务,部分系统修改因破坏原有功能被回滚。