RecodeX 重构消息,小米LLM-Core团队公布HySparse2混合稀疏注意力设计,采用两级KV共享机制,面向MiMo-V3级别的智能体模型。团队称,在80B-A3B的MoE模型上,其百万Token预填充FLOPs较Hybrid SWA降低约5倍。