AI 模型优化与压缩科技创企 Ora Computing 日前宣布,已顺利完成了 350 万欧元的 Seed 轮融资。本轮融资由 Constructor Capital 和 Greencode Ventures 联合领投,其早期基石投资者 XISTA Science Ventures 继续跟投。本轮资金将主要用于团队扩张、将其核心模型压缩算法向千亿级前沿基座大模型(Frontier Models)延伸,并面向云端推理商与企业端部署用户推出商业化 SaaS 产品。
| 公司名称 | Ora Computing |
|---|---|
| 创始人团队 | Stefan Sack, Raimel A. Medina |
| 融资轮次 | Seed 轮 |
| 融资金额 | 350 万欧元 |
| 领投方 | Constructor Capital, Greencode Ventures |
| 跟投方 | XISTA Science Ventures |
| 官网 | Ora Computing |
算力吞噬者:大模型落地的“体积”与“电费”双重绞杀
随着 GPT-4、Claude 3 等前沿基座大模型的参数量一路飙升至千亿甚至万亿级别,AI 部署面临的工程挑战正变得无比严峻。这些巨无霸模型在提供强大推理能力的同时,也带来了两大行业痛点:
1. 高昂的推理门槛与延迟(Latency):运行超大模型需要极高的显存带宽。由于显卡间的通信瓶颈,大型模型在处理实时对话或高频决策时,延迟常常难以忍受。 2. 失控的电费与能耗危机:AI 推理(Inference)占到了模型全生命周期计算能耗的 90% 以上。大模型的高频调用正在吞噬全球电网,使得企业在规模化应用 AI 时,面临算力成本与碳中和要求的双重拷问。
为了让 AI 走向大众,行业急需将模型“变小、变快”,且不损失其原有的智慧。
信息论量化压缩:给模型进行“无损抽脂”
成立于奥地利维也纳的 Ora Computing,独辟蹊径地从信息论(Information Theory)和信息熵的维度开发了一套全新的软件级大模型优化引擎。
传统的模型压缩技术(如剪枝 Pruning、知识蒸馏 Distillation、简单量化 Quantization)往往会导致模型精度出现断崖式下跌,且需要针对特定硬件平台进行深度适配。
Ora Computing 的核心技术突破在于:
- 自适应信息熵量化(Entropy-Guided Quantization):该算法能够自动扫描神经网络中数十亿个参数的“信息价值分布”。针对承载核心推理逻辑的“高熵参数权重”,予以高精度保留;而对于大量冗余的“低熵参数”,则采用极致压缩(如压缩至 2-bit 甚至更低)。
- 高达 80% 的体积削减与 0-5% 的极低精度损耗:通过这套算法,大模型(包括最新的 Llama 和 Mistral 系列开源模型)的物理体积可以被削减 80% 以上,而其在各类 Benchmark 上的精度损失通常被锁死在极低的 0% 至 5% 之内。
- 多端硬件自适应释放:压缩后的模型无需进行任何显卡底层代码重写,即可在消费级显卡(如单张 RTX 4090)甚至智能手机、车机等受限边缘端设备(Edge Devices)上流畅运行,且推理速度提升数倍。
“我们不是在粗暴地丢弃参数,我们是在剥离大模型在长序列语料训练中沉淀下来的‘噪音脂肪’,只保留最核心的‘智慧肌肉’。” Ora Computing 联合创始人 Stefan Sack 指出。
逆向突围:中端大模型部署的效率解法
领投方 Greencode Ventures 投资合伙人表示:“AI 的未来不止属于超级算力巨头,更属于那些能让 AI 在单卡甚至本地设备上高效跑起来的效率大师。Ora Computing 从底层的数学逻辑出发,提供了一套极其轻量化且高通用的模型压缩软件,这是解决 AI 推理能效危机的关键解法。”
本轮融资后,Ora Computing 将把其商业化平台面向企业客户与云端推理服务商开放测试,重点协助客户将大型私有化模型无缝微缩并部署至本地数据中心或边缘端设备,大幅度削减租用英伟达 H100 等高昂算力的开支。
RecodeX 极客视点:千亿参数的大模型如果只能待在液冷机房里,那么它就永远只是“少数人的玩具”。Ora Computing 用信息论给模型做“抽脂手术”,使其能在消费级显卡甚至手机上流畅运行,这是典型的“算法层面打败硬件依赖”的突围。随着大模型在垂直行业深水区落地的展开,谁能帮客户把 GPU 的租金账单砍掉 80%,谁就能分到最大的那块商业蛋糕。
分类: AI人工智能 标签: Ora Computing, 模型压缩, 信息论, AI推理, 算力能耗, 边缘计算
