macOS虚拟机GPU直通:llama.cpp推理提速11-16倍
RecodeX 重构消息,trycua项目发布技术博客,介绍在Apple Silicon的macOS虚拟机中实现GPU直通,使llama.cpp的大模型推理速度提升11至16倍。该方案让虚拟机直接访问GPU,为本地AI推理提供更高性能。
追踪大型语言模型的技术突破、应用落地与行业影响
关注仅保存在当前浏览器和域名中,无需登录,不会自动跨设备同步。RecodeX 重构消息,trycua项目发布技术博客,介绍在Apple Silicon的macOS虚拟机中实现GPU直通,使llama.cpp的大模型推理速度提升11至16倍。该方案让虚拟机直接访问GPU,为本地AI推理提供更高性能。
RecodeX 重构消息,开发者lo2589在GitHub上发布了Jsonseek,一款面向LLM代理的JSON/JSONL导航工具。该工具旨在通过高效的token利用,帮助LLM代理从复杂的JSON数据中精准提取所需内容,从而降低交互过程中的token开销。项目代码已公开于GitHub。
RecodeX 重构消息,字节跳动Seed团队发布原生视听全双工大模型SeedRealtime。该模型在统一架构中融合音频、视频和文本,能够基于连续多模态流进行实时交互,而非逐轮对话。Seed表示,模型在联合视听理解等方面实现突破,是迈向全模态交互的重要一步。
RecodeX 重构消息,贝斯以色列女执事医疗中心和哈佛医学院的研究人员进行了一系列实验,发现OpenAI大型语言模型o1的预览版在诊断患者方面优于人类医生。研究结果展示了AI在医疗诊断领域的潜力,但详细测试方法和数据尚未完全公开。
RecodeX 重构消息,中国低成本开源人工智能模型令美股投资者感到担忧,但分析师认为,模型成本大幅下降将刺激全球AI需求,长期利好行业发展。研究机构Silicon Data数据显示,大语言模型推理价格每百万token已从6月初的2美元以上降至本周的1.2美元,AI公司纷纷降价。
RecodeX 重构消息,开源项目 Kalos 发布,定位为零拷贝 C/CUDA 伴生模块,用于大语言模型(LLM)记忆召回,宣称延迟为 0.46 毫秒。项目代码已托管至 GitHub 仓库 kalos-engine,主要通过零拷贝机制降低模型推理时的内存访问开销。
RecodeX 重构消息,一篇题为《SparSEEty: Extracting Tokens from Sparsity-Exploiting LLM Serving Systems》的学术论文在 arXiv 平台公开。该研究聚焦于从利用稀疏性优化的大语言模型服务系统中提取令牌的方法。论文当前尚未引发公开讨论,评论区暂无留言。
RecodeX 重构消息,DeepSWE 项目推出大语言模型(LLM)帕累托前沿页面,通过数据曲线展示不同模型在软件工程任务上的表现与效率权衡。该页面已开放访问,提供可视化对比,供研究者和开发者参考。目前公开细节有限,具体评测基准、模型榜单及方法尚未披露。
RecodeX 重构消息,一篇题为《Token-Budget-Aware LLM Reasoning》的论文已提交至arXiv预印本平台。该研究聚焦于在大语言模型推理过程中引入token预算感知机制,以在有限计算资源下优化推理性能。论文地址:https://arxiv.org/abs/2412.18547。
RecodeX 重构消息,腾讯面向国际市场推出旗舰大语言模型Hy3,用户可通过WorkBuddy、腾讯设计Miora和TokenHub使用。WorkBuddy平台免费访问截止到2026年8月31日。
RecodeX 重构消息,LLM命令行工具的Anthropic插件迎来0.26更新,新增对Claude Fable 5、Claude Sonnet 5和Claude Opus 5的支持。同时加入WebSearch、WebFetch、CodeExecution和AnthropicMCP等服务器端工具,可通过-T接口或Python tools=调用。扩展思考配置被简化为thinking与thinking_effort参数,Claude 5模型默认思考,Sonnet 5与Opus 5可用-o thinking 0关闭,Fable 5始终思考。该版本需LLM 0.32及以上。
RecodeX 重构消息,开源命令行工具llm发布0.32版本,新版本的改进和更新内容已公布在GitHub Release页面,并配有开发者的详细说明博客。用户可前往项目地址查看具体变更。