RecodeX 重构消息,Nous Research发布Lighthouse Attention,一种选择型层级注意力机制,在长上下文预训练中实现1.4-1.7倍加速,训练后移除不增加推理成本。
Nous Research发布Lighthouse Attention,一种选择...
原始信息来源marktechpost.commarktechpost.com
查看原文 ↗RecodeX 重构消息,Nous Research发布Lighthouse Attention,一种选择型层级注意力机制,在长上下文预训练中实现1.4-1.7倍加速,训练后移除不增加推理成本。