Gemini 1.5 Flash 降价、面向所有开发者的优化功能等!
了解详情
上下文缓存
使用集合让一切井井有条
根据您的偏好保存内容并对其进行分类。
<ph type="x-smartling-placeholder"></ph>
在典型的 AI 工作流中,您可能会将相同的输入令牌反复传递给
模型。使用 Gemini API 上下文缓存功能,您可以传递一些内容
一次访问模型,缓存输入令牌,然后引用缓存的令牌
用于后续请求在某些数量上,使用缓存令牌的费用较低
与重复传递同一语料库相比,
在缓存一组令牌时,您可以选择缓存的时长
之后令牌会被自动删除。此缓存时长为
称为存留时间 (TTL)。如果未设置,TTL 默认为 1 小时。通过
缓存的费用取决于输入令牌的大小,以及
保留下来。
上下文缓存支持 Gemini 1.5 Pro 和 Gemini 1.5 Flash。
应在何时使用上下文缓存
上下文缓存特别适合较短的请求重复引用大量初始上下文的场景。例如,对于以下使用场景,可以考虑使用上下文缓存:
- 提供详尽的系统说明的聊天机器人
- 对较长的视频文件进行的重复分析
- 针对大型文档集的定期查询
- 频繁的代码库分析或 bug 修复
缓存如何降低费用
虽然上下文缓存是一项付费功能,但它的目的是为了降低整体的运营成本。结算取决于以下因素:
- 缓存词元数:缓存的输入词元数,如果相同的词元在后续提示中被重复使用,则按折扣费率计费。
- 存储时长:缓存令牌的存储时间 (TTL)。
根据缓存的令牌数量的 TTL 时长计费。没有下限
或 TTL 的上下限。
- 其他因素:可能还会产生其他费用,例如非缓存输入词元和输出词元的费用。
如需了解最新的价格详情,请参阅 Gemini API 价格
页面。要了解如何计算词元数量,请参阅词元数量
指南。
如何使用上下文缓存
本部分假定您已安装 Gemini SDK 并配置了一个 API
键,如快速入门中所示。
其他注意事项
使用上下文缓存时,请注意以下事项:
- 上下文缓存的输入令牌数量下限为 32,768,并且
maximum 与给定模型的最大值相同。(有关
请参阅令牌指南)。
- 模型对缓存的令牌和常规令牌没有任何区别
输入词元。缓存的内容只是提示的前缀。
- 上下文缓存没有特殊的速率或使用限制;标准
对
GenerateContent
应用速率限制,令牌限制包括缓存内容
词元。
usage_metadata
会返回
对缓存服务执行创建、获取和列出操作,
GenerateContent
(使用缓存时)。
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
最后更新时间 (UTC):2024-09-09。
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"没有我需要的信息"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"太复杂/步骤太多"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"内容需要更新"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻译问题"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"示例/代码问题"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"其他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"易于理解"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"解决了我的问题"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"其他"
}]
{"lastModified": "\u6700\u540e\u66f4\u65b0\u65f6\u95f4 (UTC)\uff1a2024-09-09\u3002"}
[[["易于理解","easyToUnderstand","thumb-up"],["解决了我的问题","solvedMyProblem","thumb-up"],["其他","otherUp","thumb-up"]],[["没有我需要的信息","missingTheInformationINeed","thumb-down"],["太复杂/步骤太多","tooComplicatedTooManySteps","thumb-down"],["内容需要更新","outOfDate","thumb-down"],["翻译问题","translationIssue","thumb-down"],["示例/代码问题","samplesCodeIssue","thumb-down"],["其他","otherDown","thumb-down"]],["最后更新时间 (UTC):2024-09-09。"],[],[]]