RecodeX 重构消息，百度正式开源最新基座模型文心5.5 Flash Base，采用MoE架构，总参数量2800亿，每个Token激活140亿参数，以33.5万亿Token完成预训练。该模型预训练上下文最高128K，微调与推理阶段支持最长100万Token上下文，在多类基准测试中取得同尺寸模型SOTA表现。

模型围绕效率主线，在注意力机制、专家路由及训练机制等环节进行系统性优化，并优化分布式Muon优化器、推出面向大head dim的注意力算子FlashMask-4，提升大规模训练的通信、显存利用与计算效率。该基座模型面向开发者和企业，提供微调与定制空间，以降低相关开发的训练成本与技术门槛。