RecodeX 重构消息,研究人员发布Sovereign-Lila-E8,一种采用E8根系统晶格替代标准注意力机制的新型Transformer架构,仅用4000万参数在TinyStories数据集上实现0.37训练损失,性能超越标准6000万参数基线。
研究人员发布Sovereign-Lila-E8,一种采用E8根系统晶格替代标准注...
原始信息来源news.ycombinator.comnews.ycombinator.com
查看原文 ↗RecodeX 重构消息,研究人员发布Sovereign-Lila-E8,一种采用E8根系统晶格替代标准注意力机制的新型Transformer架构,仅用4000万参数在TinyStories数据集上实现0.37训练损失,性能超越标准6000万参数基线。