RecodeX 重构消息,小米LLM-Core团队公布HySparse2混合稀疏注意力设计,采用两级KV共享机制,面向MiMo-V3级别的智能体模型。团队称,在80B-A3B的MoE模型上,其百万Token预填充FLOPs较Hybrid SWA降低约5倍。
小米发布HySparse2稀疏注意力方案 百万Token预填充算力降约5倍
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Pandailypandaily.com
查看原文 ↗RecodeX 重构消息,小米LLM-Core团队公布HySparse2混合稀疏注意力设计,采用两级KV共享机制,面向MiMo-V3级别的智能体模型。团队称,在80B-A3B的MoE模型上,其百万Token预填充FLOPs较Hybrid SWA降低约5倍。