RecodeX 重构消息,11月15日,贡献者Saejin Kim-Heinert团队的group-64内核被合并进llama.cpp,新增x86 VNNI Q2_0内核支持。测试显示,Bonsai场景的吞吐量提升幅度为3.0倍至3.64倍。团队同时指出,出现小幅困惑度漂移,并将其归因于编译器行为。
llama.cpp合并x86 VNNI Q2_0内核,CPU吞吐量提升至3.64倍
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Runtimewireruntimewire.com
查看原文 ↗