RecodeX 重构消息,Edge0开源了一套35B参数模型的运行时方案,其核心特点是能够从存储设备流式加载模型权重,而非一次性全部载入内存。据Samuel Zeng介绍,该方案可在iPhone上以1至2.5GB的内存占用运行,不过目前发布的MLX代码仅支持Apple Silicon Mac。
RecodeX 重构消息,Edge0开源了一套35B参数模型的运行时方案,其核心特点是能够从存储设备流式加载模型权重,而非一次性全部载入内存。据Samuel Zeng介绍,该方案可在iPhone上以1至2.5GB的内存占用运行,不过目前发布的MLX代码仅支持Apple Silicon Mac。