RecodeX 重构消息,在Thinky Machines以开放权重形式发布Inkling 2 Mini后,开源引擎Rapid-MLX已能在Mac上本地运行该模型,完成推理、调用工具并作答,全程无需云端、无需API密钥,数据不离开笔记本。
该引擎免费开源,可将Apple Silicon芯片变为本地AI算力。测试环境为一台基础配置36GB内存的MacBook,26B模型运行速度达每秒43个token,占用约23GB内存。
RecodeX 重构消息,在Thinky Machines以开放权重形式发布Inkling 2 Mini后,开源引擎Rapid-MLX已能在Mac上本地运行该模型,完成推理、调用工具并作答,全程无需云端、无需API密钥,数据不离开笔记本。
该引擎免费开源,可将Apple Silicon芯片变为本地AI算力。测试环境为一台基础配置36GB内存的MacBook,26B模型运行速度达每秒43个token,占用约23GB内存。