RecodeX 重构消息,南京大学刘佳恒团队提出测试生成新基准TestPrism,包含300个测试任务和3000个带标签的多样候选实现,核心指标JSF要求生成的测试在原始代码上失败、接受所有正确实现并拒绝所有错误实现。
评测显示,前沿Coding Agent的测试真实可靠性远低于单一参考评测结果,最强配置JSF仅28.00%。团队归纳出3大类7种测试生成错误机制,并提出TestHelix框架,通过异构合成、同伴交叉验证与递归自我改进,在同等推理预算下将JSF提升11.67至12.00个百分点。
RecodeX 重构消息,南京大学刘佳恒团队提出测试生成新基准TestPrism,包含300个测试任务和3000个带标签的多样候选实现,核心指标JSF要求生成的测试在原始代码上失败、接受所有正确实现并拒绝所有错误实现。
评测显示,前沿Coding Agent的测试真实可靠性远低于单一参考评测结果,最强配置JSF仅28.00%。团队归纳出3大类7种测试生成错误机制,并提出TestHelix框架,通过异构合成、同伴交叉验证与递归自我改进,在同等推理预算下将JSF提升11.67至12.00个百分点。