上下文缓存

在典型的 AI 工作流中,您可能会反复将相同的输入令牌传递给模型。借助 Gemini API 上下文缓存功能,您可以将一些内容一次性传递给模型,缓存输入令牌,然后在后续请求中引用缓存的令牌。在某些数量下,使用缓存的令牌比重复传入相同语料库的令牌费用更低。

缓存一组令牌时,您可以选择缓存在令牌被自动删除之前存在的时长。此缓存时长称为存留时间 (TTL)。如果未设置,TTL 默认为 1 小时。缓存的开销取决于输入令牌的大小以及您希望令牌保留多长时间。

上下文缓存支持 Gemini 1.5 Pro 和 Gemini 1.5 Flash。

应在何时使用上下文缓存

上下文缓存特别适合较短的请求重复引用大量初始上下文的场景。例如,对于以下使用场景,可以考虑使用上下文缓存:

  • 有大量系统指令的聊天机器人
  • 对较长的视频文件进行的重复分析
  • 针对大型文档集的定期查询
  • 频繁的代码库分析或 bug 修复

缓存如何降低费用

虽然上下文缓存是一项付费功能,但它的目的是为了降低整体的运营成本。结算取决于以下因素:

  1. 缓存词元数:缓存的输入词元数,如果相同的词元在后续提示中被重复使用,则按折扣费率计费。
  2. 存储时长:缓存令牌的存储时间 (TTL),根据缓存令牌计数的 TTL 时长计费。TTL 没有上下限。
  3. 其他因素:可能还会产生其他费用,例如非缓存输入词元和输出词元的费用。

如需了解最新的价格详情,请参阅 Gemini API 价格页面。如需了解如何计算令牌数,请参阅令牌指南

如何使用上下文缓存

本部分假定您已安装 Gemini SDK(或已安装 curl),并且已配置 API 密钥,如快速入门中所示。

使用缓存生成内容

以下示例展示了如何使用缓存的系统指令和视频文件生成内容。

import { GoogleGenerativeAI } from '@google/generative-ai';
import {
  FileState,
  GoogleAICacheManager,
  GoogleAIFileManager,
} from '@google/generative-ai/server';

// A helper function that uploads the video to be cached.
async function uploadMp4Video(filePath, displayName) {
  const fileManager = new GoogleAIFileManager(process.env.API_KEY);
  const fileResult = await fileManager.uploadFile(filePath, {
    displayName,
    mimeType: 'video/mp4',
  });

  const { name, uri } = fileResult.file;

  // Poll getFile() on a set interval (2 seconds here) to check file state.
  let file = await fileManager.getFile(name);
  while (file.state === FileState.PROCESSING) {
    console.log('Waiting for video to be processed.');
    // Sleep for 2 seconds
    await new Promise((resolve) => setTimeout(resolve, 2_000));
    file = await fileManager.getFile(name);
  }

  console.log(`Video processing complete: ${uri}`);

  return fileResult;
}

// Download video file
// curl -O https://storage.googleapis.com/generativeai-downloads/data/Sherlock_Jr_FullMovie.mp4
const pathToVideoFile = 'Sherlock_Jr_FullMovie.mp4';

// Upload the video.
const fileResult = await uploadMp4Video(pathToVideoFile, 'Sherlock Jr. video');

// Construct a GoogleAICacheManager using your API key.
const cacheManager = new GoogleAICacheManager(process.env.API_KEY);

// Create a cache with a 5 minute TTL.
const displayName = 'sherlock jr movie';
const model = 'models/gemini-1.5-flash-001';
const systemInstruction =
  'You are an expert video analyzer, and your job is to answer ' +
  "the user's query based on the video file you have access to.";
let ttlSeconds = 300;
const cache = await cacheManager.create({
  model,
  displayName,
  systemInstruction,
  contents: [
    {
      role: 'user',
      parts: [
        {
          fileData: {
            mimeType: fileResult.file.mimeType,
            fileUri: fileResult.file.uri,
          },
        },
      ],
    },
  ],
  ttlSeconds,
});

// Get your API key from https://aistudio.google.com/app/apikey
// Access your API key as an environment variable.
const genAI = new GoogleGenerativeAI(process.env.API_KEY);

// Construct a `GenerativeModel` which uses the cache object.
const genModel = genAI.getGenerativeModelFromCachedContent(cache);

// Query the model.
const result = await genModel.generateContent({
  contents: [
    {
      role: 'user',
      parts: [
        {
          text:
            'Introduce different characters in the movie by describing ' +
            'their personality, looks, and names. Also list the ' +
            'timestamps they were introduced for the first time.',
        },
      ],
    },
  ],
});

console.log(result.response.usageMetadata);

// The output should look something like this:
//
// {
//   promptTokenCount: 696220,
//   candidatesTokenCount: 270,
//   totalTokenCount: 696490,
//   cachedContentTokenCount: 696191
// }

console.log(result.response.text());

列出缓存

您无法检索或查看缓存的内容,但可以检索缓存元数据(namemodeldisplayNameusageMetadatacreateTimeupdateTimeexpireTime)。

如需列出所有已上传缓存的元数据,请使用 GoogleAICacheManager.list()

const listResult = await cacheManager.list();
listResult.cachedContents.forEach((cache) => {
  console.log(cache);
});

更新缓存

您可以为缓存设置新的 ttlexpireTime。系统不支持对缓存的任何其他内容进行更改。

以下示例展示了如何使用 GoogleAICacheManager.update() 更新缓存的 ttl

const ttlSeconds = 2 * 60 * 60;
const updateParams = { cachedContent: { ttlSeconds } };
const updatedCache = await cacheManager.update(cacheName, updateParams);

删除缓存

缓存服务提供删除操作,用于从缓存中手动移除内容。以下示例展示了如何使用 GoogleAICacheManager.delete() 删除缓存。

await cacheManager.delete(cacheName);

其他注意事项

使用上下文缓存时,请注意以下事项:

  • 上下文缓存的输入令牌数下限为 32,768,输入令牌数上限与给定模型的上限相同。如需详细了解如何统计令牌,请参阅令牌指南
  • 模型对缓存的令牌和常规输入令牌没有任何区别。缓存内容只是提示的前缀。
  • 上下文缓存没有特殊的速率或使用限制;适用 GenerateContent 的标准速率限制,并且令牌限制包括缓存的令牌。
  • 缓存令牌的数量会在缓存服务的创建、获取和列表操作的 usage_metadata 中返回,在使用缓存时也会在 GenerateContent 中返回。