RecodeX 重构消息,Scale AI在对SWE-Bench Pro基准进行审计后,发现存在刷分(gaming)行为,已从该基准中移除89项任务。SWE-Bench Pro是用于评估AI模型软件工程能力的测试集,此次调整涉及任务筛选与评分有效性。
Scale AI审计发现刷分行为,从SWE-Bench Pro移除89项任务
AI 辅助判断中性仅供信息参考,不构成投资建议
原始信息来源Hnrsstheinference.org
查看原文 ↗RecodeX 重构消息,Scale AI在对SWE-Bench Pro基准进行审计后,发现存在刷分(gaming)行为,已从该基准中移除89项任务。SWE-Bench Pro是用于评估AI模型软件工程能力的测试集,此次调整涉及任务筛选与评分有效性。