RecodeX 重构消息,Liquid AI于8月20日发布LFM2.5系列三款模型的投机解码草稿检查点LFM2.5-DSpark,在单块H100 GPU上吞吐量提升最高达3.18倍,在苹果芯片MacBook上最高达2.87倍,且不改变模型输出。该版本覆盖LFM2.5-1.2B-Instruct、LFM2.5-2.6B及混合专家模型LFM2.5-8B-A1B,每个模型增加约3亿参数的草稿开销。
Liquid AI发布LFM2.5-DSpark推理加速模型
后续报道
Liquid AI发布LFM2.5-DSpark草稿模型,解码速度提升3.18倍
RecodeX 重构消息,Liquid AI推出LFM2.5-DSpark草稿模型,通过三个约3亿参数的草稿模型为LFM2.5引入投机解码,在保持贪婪输出完全一致的前提下,解码速度最高提升3.18倍。该模型旨在加速推理过程,同时不改变模型输出结果。