RecodeX 重构消息,Lila Sciences与Anyscale研究团队5日发布联合文章称,双方使用64块英伟达B200 GPU,将GLM-5.3-Flash的后训练序列长度扩展至每序列100万token。团队通过SkyRL完成模型后训练,由Anyscale的Ray调度工作节点并管理任务,所支持的序列长度达到项目启动时训练栈可处理长度的64倍。

研究团队同时说明,基因组损失改善4.8%的结果来自51.2万token条件的另一项测试,而非100万token场景。GLM-5.3-Flash的配置文件中已列明最大位置数为1048576,因此此次工作并非引入全新的100万token能力。