Cerebras Systems 推出“全球最快” AI 推理服务，向 Nvidia 发起挑战
Cerebras Systems近日推出了全球最快的AI推断服务，旨在与Nvidia竞争，其新服务的速度和成本效益显示出显著优势。新推出的WSE-3处理器支持这一服务，声称在性能上超越Nvidia的GPU，并提供了更高的内存带宽以解决大规模生成AI的技术挑战。Cerebras的推断服务吸引了多家早期客户，并在不断拓展与大型云服务商的合作。
关键点
- Cerebras Systems推出的AI推断服务声称是全球最快的，现已在云端提供。
- AI推断是将实时数据通过训练好的AI模型进行预测或解决任务的过程。
- Cerebras的新服务将推断速度提高到每秒可处理1,000个标记，类似于宽带互联网的引入。
- Cerebras的WSE-3处理器具有比Nvidia H100显著更多的计算核心和内存带宽，高达125 petaflops的性能。
- 新服务被称为速度达20倍于类似服务，具有更高的性价比，价格为每百万个标记10美分。
- Cerebras的推断服务特别适合用于需要实时或高量处理的“代理AI”工作负载。
- Cerebras提供不同的访问层级，包括免费的API访问，使客户更易于实验和应用其平台。