RecodeX 重构消息,Edge0开源了一套35B参数模型的运行时方案,其核心特点是能够从存储设备流式加载模型权重,而非一次性全部载入内存。据Samuel Zeng介绍,该方案可在iPhone上以1至2.5GB的内存占用运行,不过目前发布的MLX代码仅支持Apple Silicon Mac。
Edge0开源35B模型运行时,可从存储流式加载权重
AI 辅助判断积极仅供信息参考,不构成投资建议
原始信息来源Runtimewireruntimewire.com
查看原文 ↗RecodeX 重构消息,Edge0开源了一套35B参数模型的运行时方案,其核心特点是能够从存储设备流式加载模型权重,而非一次性全部载入内存。据Samuel Zeng介绍,该方案可在iPhone上以1至2.5GB的内存占用运行,不过目前发布的MLX代码仅支持Apple Silicon Mac。