內容快取

在典型的 AI 工作流程中,您可能會一再將相同的輸入符記傳遞至模型。您可以使用 Gemini API 的脈絡快取功能,將部分內容傳送至模型一次,快取輸入詞元,然後在後續要求中參照快取的詞元。在某些情況下,使用快取符記比重複傳遞相同的符記集合更省錢。

快取一組符記時,您可以選擇快取要保留多久,再自動刪除符記。這個快取時間長度稱為存留時間 (TTL)。如果未設定,TTL 預設為 1 小時。快取的成本取決於輸入符記大小,以及您希望符記保留多久。

內容快取功能因模型而異

使用脈絡快取的時機

在較短要求中重複參照大量初始情境的情況下,情境快取特別適合。請考慮在下列用途中使用情境快取:

  • 含大量系統指示的聊天機器人
  • 重複分析長篇影片檔案
  • 針對大量文件集執行週期性查詢
  • 經常分析或修正程式碼庫

如何使用脈絡快取

本節假設您已安裝 Gemini SDK (或已安裝 curl),且已設定 API 金鑰,如快速入門所示。

使用快取產生內容

以下範例說明如何使用快取的系統指令和文字檔案產生內容。

import {
  GoogleGenAI,
  createUserContent,
  createPartFromUri,
} from "@google/genai";

const ai = new GoogleGenAI({ apiKey: "GEMINI_API_KEY" });

async function main() {
  const doc = await ai.files.upload({
    file: "path/to/file.txt",
    config: { mimeType: "text/plain" },
  });
  console.log("Uploaded file name:", doc.name);

  const modelName = "gemini-2.0-flash-001";
  const cache = await ai.caches.create({
    model: modelName,
    config: {
      contents: createUserContent(createPartFromUri(doc.uri, doc.mimeType)),
      systemInstruction: "You are an expert analyzing transcripts.",
    },
  });
  console.log("Cache created:", cache);

  const response = await ai.models.generateContent({
    model: modelName,
    contents: "Please summarize this transcript",
    config: { cachedContent: cache.name },
  });
  console.log("Response text:", response.text);
}

await main();

列出快取

您無法擷取或查看快取內容,但可以擷取快取中繼資料 (namemodeldisplayNameusageMetadatacreateTimeupdateTimeexpireTime)。

如要列出所有已上傳快取項目的中繼資料,請使用 GoogleGenAI.caches.list()

console.log("My caches:");
const pager = await ai.caches.list({ config: { pageSize: 10 } });
let page = pager.page;
while (true) {
  for (const c of page) {
    console.log("    ", c.name);
  }
  if (!pager.hasNextPage()) break;
  page = await pager.nextPage();
}

更新快取

您可以為快取設定新的 ttlexpireTime。系統不支援變更快取的其他內容。

以下範例說明如何使用 GoogleGenAI.caches.update() 更新快取的 ttl

const ttl = `${2 * 3600}s`; // 2 hours in seconds
const updatedCache = await ai.caches.update({
  name: cache.name,
  config: { ttl },
});
console.log("After update (TTL):", updatedCache);

刪除快取

快取服務提供刪除作業,可用於手動從快取中移除內容。以下範例說明如何使用 GoogleGenAI.caches.delete() 刪除快取。

await ai.caches.delete({ name: cache.name });

快取功能如何降低成本

情境快取是一項付費功能,旨在降低整體營運成本。費用則按照下列因素計算:

  1. 快取符號數量:快取的輸入符號數量,如果納入後續提示,則以較低的費率計費。
  2. 儲存時間:快取權杖的儲存時間 (TTL),根據快取權杖數量的 TTL 時間收費。存留時間沒有最低或最高限制。
  3. 其他因素:其他費用也會產生,例如未快取的輸入符記和輸出符記。

如需最新的定價詳細資料,請參閱 Gemini API 定價頁面。如要瞭解如何計算符記,請參閱符記指南

其他注意事項

使用內容快取時,請注意下列事項:

  • 快取內容的最小輸入符記數量為 4,096,最大輸入符記數量則與指定模型的最大值相同。(如要進一步瞭解如何計算符記,請參閱「符記指南」)。
  • 模型不會區分快取符記和一般輸入符記。快取內容是提示的字首。
  • 快取內容沒有特別的頻率或用量限制,而是採用 GenerateContent 的標準頻率限制,符記限制則包含快取的符記。
  • 快取憑證的數量會在快取服務的建立、取得和清單作業的 usage_metadata 中傳回,也會在使用快取時的 GenerateContent 中傳回。