RecodeX 重构消息,初创公司Subquadratic发布SubQ模型,通过动态选择性稀疏注意力将上下文计算量从平方级降至近线性,在长文本测试中表现优异且成本极低,或有望突破大语言模型的上下文长度瓶颈。
初创公司Subquadratic发布SubQ模型,通过动态选择性稀疏注意力将上下...
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Huxiuhuxiu.com
查看原文 ↗RecodeX 重构消息,初创公司Subquadratic发布SubQ模型,通过动态选择性稀疏注意力将上下文计算量从平方级降至近线性,在长文本测试中表现优异且成本极低,或有望突破大语言模型的上下文长度瓶颈。