<ph type="x-smartling-placeholder">
在典型的 AI 工作流中,您可能会将相同的输入令牌反复传递给 模型。使用 Gemini API 上下文缓存功能,您可以传递一些内容 一次访问模型,缓存输入令牌,然后引用缓存的令牌 用于后续请求在某些数量上,使用缓存令牌的费用较低 与重复传递同一语料库相比,
在缓存一组令牌时,您可以选择缓存的时长 之后令牌会被自动删除。此缓存时长为 称为存留时间 (TTL)。如果未设置,TTL 默认为 1 小时。通过 缓存的费用取决于输入令牌的大小,以及 保留下来。
上下文缓存支持 Gemini 1.5 Pro 和 Gemini 1.5 Flash。
应在何时使用上下文缓存
上下文缓存特别适合较短的请求重复引用大量初始上下文的场景。例如,对于以下使用场景,可以考虑使用上下文缓存:
- 提供详尽的系统说明的聊天机器人
- 对较长的视频文件进行的重复分析
- 针对大型文档集的定期查询
- 频繁的代码库分析或 bug 修复
缓存如何降低费用
虽然上下文缓存是一项付费功能,但它的目的是为了降低整体的运营成本。结算取决于以下因素:
- 缓存词元数:缓存的输入词元数,如果相同的词元在后续提示中被重复使用,则按折扣费率计费。
- 存储时长:缓存令牌的存储时间 (TTL)。 根据缓存的令牌数量的 TTL 时长计费。没有下限 或 TTL 的上下限。
- 其他因素:可能还会产生其他费用,例如非缓存输入词元和输出词元的费用。
如需了解最新的价格详情,请参阅 Gemini API 价格 页面。要了解如何计算词元数量,请参阅词元数量 指南。
如何使用上下文缓存
本部分假定您已安装 Gemini SDK 并配置了一个 API 键,如快速入门中所示。
使用缓存生成内容
以下示例展示了如何使用缓存系统生成内容 说明和视频文件
import os
import google.generativeai as genai
from google.generativeai import caching
import datetime
import time
# Get your API key from https://aistudio.google.com/app/apikey
# and access your API key as an environment variable.
# To authenticate from a Colab, see
# https://github.com/google-gemini/cookbook/blob/main/quickstarts/Authentication.ipynb
genai.configure(api_key=os.environ['API_KEY'])
# Download video file
# curl -O https://storage.googleapis.com/generativeai-downloads/data/Sherlock_Jr_FullMovie.mp4
path_to_video_file = 'Sherlock_Jr_FullMovie.mp4'
# Upload the video using the Files API
video_file = genai.upload_file(path=path_to_video_file)
# Wait for the file to finish processing
while video_file.state.name == 'PROCESSING':
print('Waiting for video to be processed.')
time.sleep(2)
video_file = genai.get_file(video_file.name)
print(f'Video processing complete: {video_file.uri}')
# Create a cache with a 5 minute TTL
cache = caching.CachedContent.create(
model='models/gemini-1.5-flash-001',
display_name='sherlock jr movie', # used to identify the cache
system_instruction=(
'You are an expert video analyzer, and your job is to answer '
'the user\'s query based on the video file you have access to.'
),
contents=[video_file],
ttl=datetime.timedelta(minutes=5),
)
# Construct a GenerativeModel which uses the created cache.
model = genai.GenerativeModel.from_cached_content(cached_content=cache)
# Query the model
response = model.generate_content([(
'Introduce different characters in the movie by describing '
'their personality, looks, and names. Also list the timestamps '
'they were introduced for the first time.')])
print(response.usage_metadata)
# The output should look something like this:
#
# prompt_token_count: 696219
# cached_content_token_count: 696190
# candidates_token_count: 214
# total_token_count: 696433
print(response.text)
列出缓存
无法检索或查看缓存内容,但您可以
缓存元数据(name
、model
、display_name
、usage_metadata
、
create_time
、update_time
和 expire_time
)。
如需列出所有已上传缓存的元数据,请使用 CachedContent.list()
:
for c in caching.CachedContent.list():
print(c)
更新缓存
您可以为缓存设置新的 ttl
或 expire_time
。更改任何其他内容
不支持缓存内容。
以下示例展示了如何使用以下代码更新缓存的 ttl
:
CachedContent.update()
。
import datetime
cache.update(ttl=datetime.timedelta(hours=2))
删除缓存
缓存服务提供用于手动移除内容的删除操作
从缓存中移除以下示例展示了如何使用
CachedContent.delete()
。
cache.delete()
其他注意事项
使用上下文缓存时,请注意以下事项:
- 上下文缓存的输入令牌数量下限为 32,768,并且 maximum 与给定模型的最大值相同。(有关 请参阅令牌指南)。
- 模型对缓存的令牌和常规令牌没有任何区别 输入词元。缓存的内容只是提示的前缀。
- 上下文缓存没有特殊的速率或使用限制;标准
对
GenerateContent
应用速率限制,令牌限制包括缓存内容 词元。 usage_metadata
会返回 对缓存服务执行创建、获取和列出操作,GenerateContent
(使用缓存时)。