RecodeX 重构消息，一个名为kimi-k3-in-c的开源项目尝试让2.78万亿参数的Kimi K3模型在仅8GB内存设备上运行。该项目采用纯C99编写，不依赖GPU、CUDA、PyTorch或BLAS，仅通过CPU推理。其利用MoE架构特性，每层896个专家只激活16个，将大部分专家权重存于NVMe硬盘并实时读取，密集层也按层流式加载。当前性能有限：生成一个token约需32.7秒，且需近1.7TB高速存储。开发者称这只是推理基础设施优化的一次实验探索，不具备实际生产价值，但为低成本运行超大规模模型提供了新思路。