कॉन्टेक्स्ट कैश मेमोरी

एआई के सामान्य वर्कफ़्लो में, किसी मॉडल को एक ही इनपुट टोकन बार-बार पास किया जा सकता है. Gemini API, परफ़ॉर्मेंस और लागत को ऑप्टिमाइज़ करने के लिए, इंप्लिसिट कैशिंग की सुविधा देता है.

इंप्लिसिट कैशिंग

Gemini 2.5 और इसके बाद के सभी मॉडल के लिए, इंप्लिसिट कैशिंग की सुविधा डिफ़ॉल्ट रूप से चालू होती है. यह सुविधा, स्टेटफ़ुल (जिसमें previous_interaction_id का इस्तेमाल किया जाता है) और स्टेटलेस, दोनों तरह के बातचीत के मोड के लिए उपलब्ध है. अगर आपका अनुरोध कैश हिट करता है, तो हम लागत में होने वाली बचत को अपने-आप पास कर देते हैं. इसे चालू करने के लिए, आपको कुछ भी करने की ज़रूरत नहीं है. कॉन्टेक्स्ट कैशिंग के लिए, हर मॉडल के लिए इनपुट टोकन की गिनती की कम से कम संख्या यहां दी गई है:

मॉडल टोकन की कम से कम सीमा
Gemini 3.8 Flash 4,096
Gemini 3.7 Flash 4,096
Gemini 3.6 Flash 4,096
Gemini 3.5 Flash 4,096
Gemini 3.1 Pro का प्रीव्यू 4,096
Gemini 2.5 Flash 2,048
Gemini 2.5 Pro 2,048

इंप्लिसिट कैश हिट होने की संभावना बढ़ाने के लिए:

  • अपने प्रॉम्प्ट की शुरुआत में, बड़ा और सामान्य कॉन्टेंट शामिल करें
  • कम समय में, एक जैसे प्रीफ़िक्स वाले अनुरोध भेजने की कोशिश करें

रिस्पॉन्स ऑब्जेक्ट के usage.total_cached_tokens (Python और JavaScript) फ़ील्ड में, कैश हिट करने वाले टोकन की संख्या देखी जा सकती है.