RecodeX 重构消息,分析机构SemiAnalysis发文称,谷歌Gemini 3.8 Flash与Meta Muse Spark 1.3存在明显刷榜痕迹。在Terminal-Bench 2.1榜单上,Gemini 3.8 Flash排名第2、Muse Spark 1.3排名第4;但在新增防作弊机制并更新题目的Terminal-Bench 4.0榜单上,前者跌至19.1分、排名第12,后者为33.3分,成绩大幅下滑。
Meta首席AI官反驳称,GPT-5.6 Sol落差更大却未被指刷榜,且Muse Spark 1.3主打性价比。SemiAnalysis还披露,大厂已不再直接用原题训练,而是购买贴近公开榜单题型的训练数据,相关产业链单季合同均价达30万至50万美元。Datacurve既运营DeepSWE榜单又出售相关训练数据,被指既当卖题机构又当监考老师。