港科大HarnessSQL借DeepSeek Harness将8B模型SQL准确率提至45.2%
RecodeX 重构消息,香港科技大学团队开发的HarnessSQL在DeepSeek Harness框架内训练小模型,使一个8B参数模型在Spider 2.0-SQLite基准上的准确率从15.5%提升至45.2%,超过得分约16%的32B参数基线模型。
持续追踪HarnessSQL开源框架相关报道与进展。
关注仅保存在当前浏览器和域名中,无需登录,不会自动跨设备同步。RecodeX 重构消息,香港科技大学团队开发的HarnessSQL在DeepSeek Harness框架内训练小模型,使一个8B参数模型在Spider 2.0-SQLite基准上的准确率从15.5%提升至45.2%,超过得分约16%的32B参数基线模型。
RecodeX 重构消息,港科大与微软等团队推出首个原生长程环境交互训练框架HarnessSQL,针对传统Text-to-SQL模型训练与部署脱节、缺乏交互探索试错能力的问题,构建高保真密闭执行沙盒与极简SQL Harness契约,并采用全轨迹长程监督微调加执行奖励强化学习的两阶段后训练流水线。
在多个主流交互Text-to-SQL基准评测中,HarnessSQL的8B模型执行准确率远超同场景下的32B专用模型与多智能体系统,14B模型性能进一步提升,并具备较强的域外泛化能力。受控实验与消融实验表明,训练推理环境严格同构、全序列轨迹监督、足够的上下文窗口以及适配稀疏奖励的优化算法是长程交互任务的关键。目前HarnessSQL相关资产已全部开源。