Anthropic推出了新的提示缓存功能，这一功能将帮助开发者节省大量成本。通过在其Claude API上使用的提示缓存功能，开发者可以在API调用间记住上下文，从而避免重复输入，这为使用大规模上下文的场景省去费用和响应时间。Anthropic指出，早期用户已在多种用例中实现了成本和速度的显著提升，这在长指令、上传文档和代码自动完成等情况下尤为显著。
关键点
– Anthropic推出了提示缓存功能，允许开发者记住API调用间的上下文。
– Claude 3.5 Sonnet和Claude 3 Haiku现在可以使用该功能，但Opus仍需等待支持。
– 提示缓存可以通过保留频繁使用的上下文降低成本，提高使用效率。
– 缓存提示价格较低，能显著节省开发者支出。
– 缓存提示的特点在于其5分钟的缓存生存期，在使用时会更新。
– 在价格战中，Anthropic与Google和OpenAI等竞争对手展开较量。
– 其他平台如Lamina也正在使用类似缓存技术以降低GPU成本。
https://venturebeat.com/ai/anthropics-new-claude-prompt-caching-will-save-developers-a-fortune/