NaiveAI开源309B MoE模型Naive-N0.5-Flash,原生支持1M上下文
RecodeX 重构消息,NaiveAI以MIT许可证开源发布Naive-N0.5-Flash模型。该模型为309B参数混合专家(MoE)架构,激活参数15.5B,采用SWA与DSA混合注意力机制,原生支持100万token上下文,面向编程与AI研发场景。模型基于MiMo-V2.5构建,未使用全注意力层。
持续追踪NaiveAI大模型相关报道与进展。
关注仅保存在当前浏览器和域名中,无需登录,不会自动跨设备同步。RecodeX 重构消息,NaiveAI以MIT许可证开源发布Naive-N0.5-Flash模型。该模型为309B参数混合专家(MoE)架构,激活参数15.5B,采用SWA与DSA混合注意力机制,原生支持100万token上下文,面向编程与AI研发场景。模型基于MiMo-V2.5构建,未使用全注意力层。
RecodeX 重构消息,NaiveAI发布一款309B参数的开源权重模型,主要面向编程和AI研究场景。该模型支持100万token上下文,并配套自研推理运行时,公司方面还给出了速度方面的宣称。