內容快取

Python Node.js

在一般 AI 工作流程中，您可以將相同的輸入符記傳遞至模型。您可以使用 Gemini API 內容快取功能，將部分內容傳送至模型一次、快取輸入權杖，然後參照快取權杖用於後續要求。在特定磁碟區下，使用快取權杖的費用會比重複傳入相同權杖語料庫來降低成本 (而且延遲時間可能較短)。

快取一組權杖時，您可以選擇在自動刪除權杖之前，快取存在的時間長度。這個快取時間長度稱為「存留時間」 (TTL)。快取的費用取決於輸入符記大小，以及符記保留時間。

內容快取功能同時支援 Gemini 1.5 Pro 和 Gemini 1.5 Flash。

使用內容快取的時機

內容快取特別適用於較短的要求會重複參照大量初始內容的情況。建議針對用途使用內容快取，例如：

• 具備豐富系統操作說明的聊天機器人
• 重複分析長篇影片檔案
• 針對大型文件集執行週期性查詢
• 頻繁分析程式碼存放區或修正錯誤

快取功能如何降低成本

內容快取是一項付費功能，可降低整體作業成本。費用取決於下列因素：

1. 快取權杖數量：快取的輸入權杖數量。後續提示中包含這些權杖時，系統會以較低費率計費。
2. 儲存時間長度：系統會儲存快取權杖的時間 (TTL)，並按小時計費。存留時間沒有下限或上限。
3. 其他因素：會產生其他費用，例如非快取的輸入權杖和輸出權杖。

如要查看最新的定價詳細資料，請參閱 Gemini API 定價頁面。如要瞭解如何計算符記，請參閱權杖指南。

如何使用內容快取

本節假設您已安裝 Gemini SDK 並設定 API 金鑰，如quickstart所示。

額外注意事項

使用內容快取時，請注意下列事項：

• 內容快取的「最小值」輸入符記數量為 32,768 個，最大值則與該模型的上限相同。(如要進一步瞭解如何計算符記，請參閱符記指南)。
• 您可以為快取設定存留時間 (TTL)，如範例程式碼所示。如未設定，TTL 會預設為 1 小時。
• 模型不會在快取符記和一般輸入符記之間做出任何區別。快取內容就是提示的前置字串。
• 快取服務提供刪除作業，可讓您手動從快取中移除內容。詳情請參閱所選 SDK 的說明文件。
• 如果是付費層級，則內容快取沒有特殊的費率或用量限制；適用 GenerateContent 的標準頻率限制，且憑證限制會包含快取符記。在免付費方案中，Gemini 1.5 Flash 的儲存空間限制為 100 萬個符記，且快取功能不適用於 Gemini 1.5 Pro。
• 您無法擷取或查看快取內容，但可以擷取中繼資料 (name、display_name、model，以及建立、更新和到期時間)。
• 您可設定新的 ttl 或 expire_time。不支援變更快取內容的其他項目。
• 快取權杖數量是由快取服務的建立、取得和列出作業在 usage_metadata 中傳回，使用快取時也會在 GenerateContent 中傳回。