內容快取

在一般 AI 工作流程中,您可能會將相同的輸入符記傳遞給 模型您可以透過 Gemini API 內容快取功能傳送某些內容 快取輸入符記,然後參照快取符記 以供後續要求使用在特定磁碟區下,使用快取權杖的成本較低 而不是重複傳遞同一語料庫。

快取一組權杖時,你可以選擇快取保留時間長度 即自動刪除權杖。這個快取時間長度為 稱為「存留時間」 (TTL)。如未設定,TTL 會預設為 1 小時。 快取費用取決於輸入符記大小,以及所需的 權杖的保留時間。

內容快取功能同時支援 Gemini 1.5 Pro 和 Gemini 1.5 Flash。

使用內容快取的時機

內容快取特別適用於 較短的要求會重複參照初始背景資訊。建議做法 適合不同用途的情境快取功能

  • 具備豐富系統操作說明的聊天機器人
  • 重複分析長篇影片檔案
  • 針對大型文件集執行週期性查詢
  • 頻繁分析程式碼存放區或修正錯誤

快取功能如何降低成本

內容快取是一項付費功能,旨在降低整體作業成本。 費用取決於下列因素:

  1. 快取權杖數量:快取的輸入權杖數量,由多個 降低比率
  2. 儲存時間長度:儲存快取權杖的時間 (TTL)、 計費依據為快取權杖數量的存留時間。沒有最低金額限制 或存留時間的最大值
  3. 其他因素:可能須支付其他費用,例如非快取輸入權杖 輸出符記

如要查看最新的定價詳細資料,請參閱 Gemini API 定價 頁面。如要瞭解如何計算符記,請參閱 指南

如何使用內容快取

本節假設您已安裝 Gemini SDK 並設定 API 金鑰,如快速入門導覽課程所示。

其他注意事項

使用內容快取時,請注意下列事項:

  • 內容快取的「下限」輸入符記數量為 32,768;而 max 與指定模型的上限相同。(如需進一步瞭解 計算符記,請參閱符記指南)。
  • 模型不會在快取符記和一般符記之間做出任何區別 輸入符記快取內容就是提示的前置字串。
  • 內容快取沒有特殊費率或用量限制;標準 適用 GenerateContent 的頻率限制,權杖限制包括快取 符記
  • 系統會在 usage_metadata 建立、取得和列出快取服務的作業,以及在 GenerateContent (使用快取)。