脈絡快取

在一般的 AI 工作流程中，您可能會反覆將相同的輸入權杖傳遞給模型。Gemini API 提供隱含快取功能，可提升效能並降低成本。

隱含快取

所有 Gemini 2.5 和更新版本模型，預設都會啟用隱式快取功能。有狀態 (使用 previous_interaction_id) 和無狀態對話模式都支援這項功能。如果要求命中快取，我們會自動降低費用。您不必進行任何設定，即可啟用這項功能。下表列出各模型的輸入詞元數下限：

模型 詞元數量下限
Gemini 4 Argon 4,096
Gemini 3.8 Flash 4,096
Gemini 3.6 Flash 4,096
Gemini 3.1 Pro 預先發布版 4,096
Gemini 2.5 Flash 2,048
Gemini 2.5 Pro 2,048

如要提高隱性快取命中率，請採取下列做法：

  • 請嘗試將大量和常見的內容放在提示開頭
  • 在短時間內傳送前置字元相似的要求

您可以在回應物件的 usage.total_cached_tokens (Python 和 JavaScript) 欄位中，查看快取命中的詞元數量。