RecodeX 重构消息,浙江大学与北京大学团队提出多答案问答强化学习框架SPADER,相关成果被EMNLP 2026收录。该框架针对现有强化学习方法中轨迹级优势计算导致信用分配粗糙、F1奖励对头部与长尾实体一视同仁而缺乏长尾探索动力的问题,将GRPO的轨迹级优势细化为步骤级同伴优势,无需参数化价值网络与外部评估器即可实现细粒度信用分配。
SPADER还设计了由横向信息增益与纵向新颖度溢价组成的双轴多样性感知探索奖励,并搭配工具成本与终端作答奖励,激励智能体挖掘长尾答案、自主判断搜索与终止时机。在两种基座模型、四个多答案问答基准上,该框架全面提升召回与F1指标,且未靠堆砌搜索次数换取更高覆盖。相关代码与模型均已开源。