初创公司Subquadratic发布SubQ模型，通过动态选择性稀疏注意力将上下文计算量从平方级降至近线性，在长文本测试中表现优异且成本极低，或有望突破大语言模型的上下文长度瓶颈。
发现重构世界的力量
发现重构世界的力量
初创公司Subquadratic发布SubQ模型，通过动态选择性稀疏注意力将上下文计算量从平方级降至近线性，在长文本测试中表现优异且成本极低，或有望突破大语言模型的上下文长度瓶颈。