RecodeX 重构消息,开源推理框架llama.cpp引入名为prompt lookup decoding的开源解码技术,在代码编辑等重复性任务上最高可实现42倍加速,且无需更换新模型或硬件。不过一项被广泛引用的基准测试显示,该技术在通用聊天负载上并未带来净提速,因此其收益主要局限于自托管代码类大模型的场景。