RecodeX 重构消息,面壁智能(ModelBest)公布其LES(层级专家预取)方法的技术细节,该方法从手机闪存中预取下一层所需的专家权重,从而让350亿参数的MoE模型在手机端运行。实测在iPhone上达到20.51 tokens/s,为基线的6.07倍。相关代码已开源。