RecodeX 重构消息,美团正式发布新一代万亿参数大模型LongCat-2.0,并将对外开源。作为在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型(总参数1.6T,平均激活约48B,动态范围33B~56B),LongCat-2.0预训练数据规模超过30T tokens,覆盖中文、英文、多语言和代码等多类数据,原生支持1M超长上下文。
美团正式发布新一代万亿参数大模型LongCat-2.0,并将对外开源。作为在五万...
后续报道
美团开源万亿参数大模型LongCat-2.0:6月30日,美团正式发布新一代万亿...
美团开源万亿参数大模型LongCat-2.0:6月30日,美团正式发布新一代万亿参数大模型LongCat-2.0,并将对外开源。作为在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型(总参数1.6T,平均激活约48B,动态范围33B~56B),LongCat-2.0预训练数据规模超过30T tokens,覆盖中文、英文、多语言和代码等多类数据,原生支持1M超长上下文。
美团 LongCat-2.0 正式发布:今天,美团正式发布新一代万亿参数大模型 ...
美团 LongCat-2.0 正式发布:今天,美团正式发布新一代万亿参数大模型 LongCat-2.0,并将对外开源。LongCat-2.0 预训练数据规模超过 30T tokens,覆盖中文、英文、多语言和代码等多类数据;面对万卡级训练中的硬件故障、通信异常、显存压力与数值波动,LongCat 团队从稳定性、正确性和效率三方面攻克国产算力训练难题。在稳定性上,通过 HCCL 异常处理、弹性扩缩卡和自动故障恢复,将月均日故障率降低 70% 以上;在正确性上,通过自研设计确定性算子、Bitwise 一致性验证和参数检测,保障训练结果的可靠,同时基于实践提升关键模块计算精度、优化 Reduce 逻辑;
6月30日,美团正式发布新一代万亿参数大模型LongCat-2.0,并将对外开源...
6月30日,美团正式发布新一代万亿参数大模型LongCat-2.0,并将对外开源。作为在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型(总参数1.6T,平均激活约48B,动态范围33B~56B),LongCat-2.0预训练数据规模超过30T tokens,覆盖中文、英文、多语言和代码等多类数据,原生支持1M超长上下文。