Anthropic 的新 Claude 提示缓存将为开发人员节省一大笔钱

Anthropic推出了新的提示缓存功能，这一功能将帮助开发者节省大量成本。通过在其Claude API上使用的提示缓存功能，开发者可以在API调用间记住上下文，从而避免重复输入，这为使用大规模上下文的场景省去费用和响应时间。Anthropic指出，早期用户已在多种用例中实现了成本和速度的显著提升，这在长指令、上传文档和代码自动完成等情况下尤为显著。

关键点

- Anthropic推出了提示缓存功能，允许开发者记住API调用间的上下文。
- Claude 3.5 Sonnet和Claude 3 Haiku现在可以使用该功能，但Opus仍需等待支持。
- 提示缓存可以通过保留频繁使用的上下文降低成本，提高使用效率。
- 缓存提示价格较低，能显著节省开发者支出。
- 缓存提示的特点在于其5分钟的缓存生存期，在使用时会更新。
- 在价格战中，Anthropic与Google和OpenAI等竞争对手展开较量。
- 其他平台如Lamina也正在使用类似缓存技术以降低GPU成本。

Anthropic’s new Claude prompt caching will save developers a fortune