上下文缓存

在典型的 AI 工作流中，您可能会反复将相同的输入令牌传递给模型。借助 Gemini API 上下文缓存功能，您可以将一些内容传递给模型一次，缓存输入 token，然后在后续请求中引用缓存的 token。在某些数据量下，使用缓存的令牌比重复传入同一令牌集更经济。

缓存一组令牌时，您可以选择缓存在令牌被自动删除之前存在的时长。此缓存时长称为存留时间 (TTL)。如果未设置，TTL 默认为 1 小时。缓存的开销取决于输入令牌的大小以及您希望令牌保留多长时间。

上下文缓存因型号而异。

应在何时使用上下文缓存

上下文缓存特别适合较短的请求重复引用大量初始上下文的场景。例如，对于以下使用场景，可以考虑使用上下文缓存：

有大量系统指令的聊天机器人
对较长的视频文件进行的重复分析
针对大型文档集的定期查询
频繁的代码库分析或 bug 修复

如何使用上下文缓存

本部分假定您已安装 Gemini SDK（或已安装 curl），并且已配置 API 密钥，如快速入门中所示。

使用缓存生成内容

以下示例展示了如何创建缓存，然后使用该缓存生成内容。

视频PDF

wget https://storage.googleapis.com/generativeai-downloads/data/a11.txt
echo '{
  "model": "models/gemini-2.0-flash-001",
  "contents":[
    {
      "parts":[
        {
          "inline_data": {
            "mime_type":"text/plain",
            "data": "'$(base64 $B64FLAGS a11.txt)'"
          }
        }
      ],
    "role": "user"
    }
  ],
  "systemInstruction": {
    "parts": [
      {
        "text": "You are an expert at analyzing transcripts."
      }
    ]
  },
  "ttl": "300s"
}' > request.json

curl -X POST "https://generativelanguage.googleapis.com/v1beta/cachedContents?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d @request.json \
> cache.json

CACHE_NAME=$(cat cache.json | grep '"name":' | cut -d '"' -f 4 | head -n 1)

curl -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash-001:generateContent?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
      "contents": [
        {
          "parts":[{
            "text": "Please summarize this transcript"
          }],
          "role": "user"
        },
      ],
      "cachedContent": "'$CACHE_NAME'"
    }'

DOC_URL="https://www.nasa.gov/wp-content/uploads/static/history/alsj/a17/A17_FlightPlan.pdf"
DISPLAY_NAME="A17_FlightPlan"
SYSTEM_INSTRUCTION="You are an expert at analyzing transcripts."
PROMPT="Please summarize this transcript"
MODEL="models/gemini-2.0-flash-001"
TTL="300s"

# Download the PDF
wget -O "${DISPLAY_NAME}.pdf" "${DOC_URL}"

MIME_TYPE=$(file -b --mime-type "${DISPLAY_NAME}.pdf")
NUM_BYTES=$(wc -c < "${DISPLAY_NAME}.pdf")

echo "MIME_TYPE: ${MIME_TYPE}"
echo "NUM_BYTES: ${NUM_BYTES}"

tmp_header_file=upload-header.tmp

# Initial resumable request defining metadata.
# The upload url is in the response headers dump them to a file.
curl "${BASE_URL}/upload/v1beta/files?key=${GOOGLE_API_KEY}" \
  -D upload-header.tmp \
  -H "X-Goog-Upload-Protocol: resumable" \
  -H "X-Goog-Upload-Command: start" \
  -H "X-Goog-Upload-Header-Content-Length: ${NUM_BYTES}" \
  -H "X-Goog-Upload-Header-Content-Type: ${MIME_TYPE}" \
  -H "Content-Type: application/json" \
  -d "{'file': {'display_name': '${DISPLAY_NAME}'}}" 2> /dev/null

upload_url=$(grep -i "x-goog-upload-url: " "${tmp_header_file}" | cut -d" " -f2 | tr -d "\r")
rm "${tmp_header_file}"

# Upload the actual bytes.
curl "${upload_url}" \
  -H "Content-Length: ${NUM_BYTES}" \
  -H "X-Goog-Upload-Offset: 0" \
  -H "X-Goog-Upload-Command: upload, finalize" \
  --data-binary "@${DISPLAY_NAME}.pdf" 2> /dev/null > file_info.json

file_uri=$(jq ".file.uri" file_info.json)
echo "file_uri: ${file_uri}"

# Clean up the downloaded PDF
rm "${DISPLAY_NAME}.pdf"

# Create the cached content request
echo '{
  "model": "'$MODEL'",
  "contents":[
    {
      "parts":[
        {"file_data": {"mime_type": "'$MIME_TYPE'", "file_uri": '$file_uri'}}
      ],
    "role": "user"
    }
  ],
  "system_instruction": {
    "parts": [
      {
        "text": "'$SYSTEM_INSTRUCTION'"
      }
    ],
    "role": "system"
  },
  "ttl": "'$TTL'"
}' > request.json

# Send the cached content request
curl -X POST "${BASE_URL}/v1beta/cachedContents?key=$GOOGLE_API_KEY" \
-H 'Content-Type: application/json' \
-d @request.json \
> cache.json

CACHE_NAME=$(cat cache.json | grep '"name":' | cut -d '"' -f 4 | head -n 1)
echo "CACHE_NAME: ${CACHE_NAME}"
# Send the generateContent request using the cached content
curl -X POST "${BASE_URL}/${MODEL}:generateContent?key=$GOOGLE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
      "contents": [
        {
          "parts":[{
            "text": "'$PROMPT'"
          }],
          "role": "user"
        }
      ],
      "cachedContent": "'$CACHE_NAME'"
    }' > response.json

cat response.json

echo jq ".candidates[].content.parts[].text" response.json

列出缓存

您无法检索或查看缓存的内容，但可以检索缓存元数据（name、model、displayName、usageMetadata、createTime、updateTime 和 expireTime）。

curl "https://generativelanguage.googleapis.com/v1beta/cachedContents?key=$GEMINI_API_KEY"

更新缓存

您可以为缓存设置新的 ttl 或 expireTime。不支持更改缓存的任何其他内容。

以下示例展示了如何更新缓存的 ttl。

curl -X PATCH "https://generativelanguage.googleapis.com/v1beta/$CACHE_NAME?key=$GEMINI_API_KEY" \
 -H 'Content-Type: application/json' \
 -d '{"ttl": "600s"}'

删除缓存

缓存服务提供了删除操作，用于手动从缓存中移除内容。以下示例展示了如何删除缓存。

curl -X DELETE "https://generativelanguage.googleapis.com/v1beta/$CACHE_NAME?key=$GEMINI_API_KEY"

缓存如何降低费用

虽然上下文缓存是一项付费功能，但它的目的是为了降低整体的运营成本。结算取决于以下因素：

缓存词元数：缓存的输入词元数，如果相同的词元在后续提示中被重复使用，则按折扣费率计费。
存储时长：所缓存词元的存储时长 (TTL)，按缓存词元数的 TTL 时长计费。TTL 没有最小值或最大值。
其他因素：可能还会产生其他费用，例如非缓存输入词元和输出词元的费用。

如需了解最新的价格详情，请参阅 Gemini API 价格页面。如需了解如何计算令牌数，请参阅令牌指南。

其他注意事项

使用上下文缓存时，请注意以下事项：

上下文缓存的输入令牌数下限为 4,096，上限与给定模型的上限相同。（如需详细了解如何统计令牌，请参阅令牌指南。）
该模型不会区分缓存的令牌和常规输入令牌。缓存的内容是提示的前缀。
上下文缓存没有特殊的速率或使用限制；适用 GenerateContent 的标准速率限制，并且令牌限制包括缓存的令牌。
缓存的令牌数量会在缓存服务的创建、获取和列表操作的 usage_metadata 中返回，在使用缓存时也会在 GenerateContent 中返回。