內容快取

Python JavaScript Go REST

在典型的 AI 工作流程中，您可能會反覆將相同的輸入權杖傳遞至模型。Gemini API 提供兩種不同的快取機制：

• 隱式快取 (Gemini 2.5 模型會自動啟用，不保證能節省費用)
• 明確快取 (大多數模型可手動啟用，保證節省費用)

如果您想確保節省費用，但願意增加開發人員工作量，則可使用明確快取。

隱含快取

所有 Gemini 2.5 模型預設都會啟用隱式快取功能。如果要求命中快取，系統會自動將節省的費用退還給您。這項功能會自動啟用，你無需採取任何行動。並於 2025 年 5 月 8 日生效。下表列出各模型進行內容快取時的最低輸入權杖數：

如要提高隱含快取命中的機率，請採取下列行動：

• 請嘗試在提示開頭放入大型和常見內容
• 嘗試在短時間內傳送具有類似前置字串的要求

您可以在回應物件的 usage_metadata 欄位中，查看快取命中次數。

明確快取

使用 Gemini API 的明確快取功能，您可以將部分內容傳送至模型一次、快取輸入權杖，然後在後續要求中參照快取的權杖。在特定量級下，使用快取權杖的成本比重複傳遞相同權杖主體更低。

快取一組權杖時，您可以選擇快取保留時間，時間一到，系統就會自動刪除權杖。這段快取時間稱為「存留時間」(TTL)。如未設定，TTL 預設為 1 小時。快取費用取決於輸入權杖大小，以及您希望權杖保留多久。

本節假設您已安裝 Gemini SDK (或已安裝 curl)，並已設定 API 金鑰，如快速入門所示。

使用快取生成內容

以下範例說明如何使用快取的系統指令和文字檔生成內容。

import {
  GoogleGenAI,
  createUserContent,
  createPartFromUri,
} from "@google/genai";

const ai = new GoogleGenAI({ apiKey: "GEMINI_API_KEY" });

async function main() {
  const doc = await ai.files.upload({
    file: "path/to/file.txt",
    config: { mimeType: "text/plain" },
  });
  console.log("Uploaded file name:", doc.name);

  const modelName = "gemini-2.0-flash-001";
  const cache = await ai.caches.create({
    model: modelName,
    config: {
      contents: createUserContent(createPartFromUri(doc.uri, doc.mimeType)),
      systemInstruction: "You are an expert analyzing transcripts.",
    },
  });
  console.log("Cache created:", cache);

  const response = await ai.models.generateContent({
    model: modelName,
    contents: "Please summarize this transcript",
    config: { cachedContent: cache.name },
  });
  console.log("Response text:", response.text);
}

await main();

列出快取

您無法擷取或查看快取內容，但可以擷取快取中繼資料 (name、model、displayName、usageMetadata、createTime、updateTime 和 expireTime)。

如要列出所有上傳快取的中繼資料，請使用 GoogleGenAI.caches.list()：

console.log("My caches:");
const pager = await ai.caches.list({ config: { pageSize: 10 } });
let page = pager.page;
while (true) {
  for (const c of page) {
    console.log("    ", c.name);
  }
  if (!pager.hasNextPage()) break;
  page = await pager.nextPage();
}

更新快取

您可以為快取設定新的 ttl 或 expireTime。不支援變更快取的其他任何項目。

以下範例說明如何使用 GoogleGenAI.caches.update() 更新快取的 ttl。

const ttl = `${2 * 3600}s`; // 2 hours in seconds
const updatedCache = await ai.caches.update({
  name: cache.name,
  config: { ttl },
});
console.log("After update (TTL):", updatedCache);

刪除快取

快取服務提供刪除作業，可手動從快取中移除內容。下列範例說明如何使用 GoogleGenAI.caches.delete() 刪除快取。

await ai.caches.delete({ name: cache.name });

使用 OpenAI 程式庫進行明確快取

如果您使用 OpenAI 程式庫，可以透過 extra_body 的 cached_content 屬性啟用明確快取。

使用明確快取的時機

如果較短的要求會重複參照大量初始脈絡，就特別適合使用脈絡快取。請考慮在下列用途使用內容快取：

• 具有大量系統指令的聊天機器人
• 重複分析冗長的影片檔案
• 針對大量文件集重複查詢
• 經常分析程式碼存放區或修正錯誤

明確快取如何降低成本

情境快取是付費功能，旨在降低整體營運成本。計費依據下列因素：

1. 快取權杖數：快取的輸入權杖數，納入後續提示時會以較低的費率計費。
2. 儲存時間：快取權杖的儲存時間 (存留時間)，費用依據為快取權杖數量的存留時間長度。存留時間沒有上下限。
3. 其他因素：系統會收取其他費用，例如非快取輸入權杖和輸出權杖的費用。

如需最新定價詳細資料，請參閱 Gemini API 定價頁面。如要瞭解如何計算權杖，請參閱權杖指南。

其他注意事項

使用內容快取時，請注意下列事項：

• 如要使用內容快取功能，2.5 Flash 的最低輸入權杖數為 1,024 個、2.5 Pro 為 4,096 個，3 Pro Preview 則為 2,048 個。最大值與指定模型相同。(如要進一步瞭解如何計算權杖，請參閱權杖指南)。
• 模型不會區分快取權杖和一般輸入權杖。快取內容是提示的前置字元。
• 內容快取沒有特殊費率或用量限制，適用 GenerateContent 的標準費率限制，且權杖限制包含快取的權杖。
• 快取服務的建立、取得和列出作業會傳回 usage_metadata 中的快取權杖數量，使用快取時也會傳回 GenerateContent 中的快取權杖數量。