RecodeX 重构消息,开源项目 OMLX 提出一种本地大模型推理加速方案:将预填充(prefill)阶段的计算任务分配到第二台 Mac 上执行,实测预填充速度提升约 2.9 倍。该方案针对本地部署大模型时预填充阶段耗时较长的问题,利用多台苹果设备协同分担计算负载。