RecodeX 重构消息,上海人工智能实验室与上海交通大学人工智能学院LUMIA Lab团队提出全新预训练任务“下一个概念预测”(NCP),并推出全球首个8.9B规模离散隐空间基座模型NCP-ArchPreview。该模型基于5.73T Dolma-3语料预训练,仅用51.3%的Token预算即追平OLMo-3-7B的最终预训练Loss,等效收敛速度提升1.95倍,计算帕累托效率提升1.74倍,下游任务综合表现领先2.45分,其中GSM8K数学推理提升近6分。模型采用三段式隐空间概念处理流水线,通过乘积量化构建超大离散概念表征空间,并开源了全程阶段性Checkpoint与评测框架等全部资产。