上下文缓存

<ph type="x-smartling-placeholder"></ph>

在典型的 AI 工作流中，您可能会将相同的输入令牌反复传递给 模型。使用 Gemini API 上下文缓存功能，您可以传递一些内容 一次访问模型，缓存输入令牌，然后引用缓存的令牌 用于后续请求在某些数量上，使用缓存令牌的费用较低 与重复传递同一语料库相比，

在缓存一组令牌时，您可以选择缓存的时长 之后令牌会被自动删除。此缓存时长为 称为存留时间 (TTL)。如果未设置，TTL 默认为 1 小时。通过 缓存的费用取决于输入令牌的大小，以及 保留下来。

上下文缓存支持 Gemini 1.5 Pro 和 Gemini 1.5 Flash。

应在何时使用上下文缓存

上下文缓存特别适合较短的请求重复引用大量初始上下文的场景。例如，对于以下使用场景，可以考虑使用上下文缓存：

  • 提供详尽的系统说明的聊天机器人
  • 对较长的视频文件进行的重复分析
  • 针对大型文档集的定期查询
  • 频繁的代码库分析或 bug 修复

缓存如何降低费用

虽然上下文缓存是一项付费功能，但它的目的是为了降低整体的运营成本。结算取决于以下因素：

  1. 缓存词元数：缓存的输入词元数，如果相同的词元在后续提示中被重复使用，则按折扣费率计费。
  2. 存储时长：缓存令牌的存储时间 (TTL)。 根据缓存的令牌数量的 TTL 时长计费。没有下限 或 TTL 的上下限。
  3. 其他因素：可能还会产生其他费用，例如非缓存输入词元和输出词元的费用。

如需了解最新的价格详情，请参阅 Gemini API 价格 页面。要了解如何计算词元数量，请参阅词元数量 指南。

如何使用上下文缓存

本部分假定您已安装 Gemini SDK 并配置了一个 API 键，如快速入门中所示。

其他注意事项

使用上下文缓存时，请注意以下事项：

  • 上下文缓存的输入令牌数量下限为 32,768，并且 maximum 与给定模型的最大值相同。（有关 请参阅令牌指南）。
  • 模型对缓存的令牌和常规令牌没有任何区别 输入词元。缓存的内容只是提示的前缀。
  • 上下文缓存没有特殊的速率或使用限制；标准 对 GenerateContent 应用速率限制，令牌限制包括缓存内容 词元。
  • usage_metadata 会返回 对缓存服务执行创建、获取和列出操作， GenerateContent（使用缓存时）。