कॉन्टेक्स्ट को कैश में सेव करना

एआई के सामान्य वर्कफ़्लो में, किसी मॉडल को एक ही इनपुट टोकन बार-बार पास किया जा सकता है. Gemini API, परफ़ॉर्मेंस और लागत को ऑप्टिमाइज़ करने के लिए, इंप्लिसिट कैशिंग की सुविधा देता है.

इंप्लिसिट कैशिंग

Gemini 2.5 और इसके बाद के सभी मॉडल के लिए, इंप्लिसिट कैशिंग की सुविधा डिफ़ॉल्ट रूप से चालू होती है. अगर आपका अनुरोध कैश से मैच होता है, तो हम लागत में होने वाली बचत को अपने-आप पास कर देते हैं. इसे चालू करने के लिए, आपको कुछ भी करने की ज़रूरत नहीं है. कॉन्टेक्स्ट कैशिंग के लिए, हर मॉडल के लिए इनपुट टोकन की कम से कम संख्या यहां दी गई है:

मॉडल टोकन की कम से कम सीमा
Gemini 3.5 Flash 1024
Gemini 3 Pro की झलक 4096
Gemini 2.5 Flash 1024
Gemini 2.5 Pro 4096

इंप्लिसिट कैश हिट होने की संभावना बढ़ाने के लिए:

  • अपने प्रॉम्प्ट की शुरुआत में, बड़ा और सामान्य कॉन्टेंट शामिल करें
  • कम समय में, एक जैसे प्रीफ़िक्स वाले अनुरोध भेजने की कोशिश करें

रिस्पॉन्स ऑब्जेक्ट के usage_metadata (Python) या usageMetadata (JavaScript) फ़ील्ड में, कैश हिट होने वाले टोकन की संख्या देखी जा सकती है.