कॉन्टेक्स्ट कैश मेमोरी

एआई के सामान्य वर्कफ़्लो में, एक ही इनपुट टोकन को बार-बार किसी मॉडल को पास किया जा सकता है. Gemini API, परफ़ॉर्मेंस और लागत को ऑप्टिमाइज़ करने के लिए, इंप्लिसिट कैशिंग की सुविधा देता है.

इंप्लिसिट कैशिंग

Gemini 2.5 और इसके बाद के सभी मॉडल के लिए, इंप्लिसिट कैश मेमोरी की सुविधा डिफ़ॉल्ट रूप से चालू होती है. यह स्टेटफ़ुल (previous_interaction_id का इस्तेमाल करके) और स्टेटलेस, दोनों तरह के बातचीत मोड के लिए उपलब्ध है. अगर आपका अनुरोध कैश मेमोरी में मौजूद डेटा से पूरा होता है, तो हम लागत में हुई बचत को अपने-आप लागू कर देते हैं. इसे चालू करने के लिए, आपको कुछ भी करने की ज़रूरत नहीं है. कॉन्टेक्स्ट को कैश मेमोरी में सेव करने के लिए, हर मॉडल के लिए कम से कम इनपुट टोकन की संख्या यहां दी गई है:

मॉडल टोकन की कम से कम सीमा
Gemini 3.8 Flash 4,096
Gemini 3.6 Flash 4,096
Gemini 3.1 Pro की झलक 4,096
Gemini 2.5 Flash 2,048
Gemini 2.5 Pro 2,048

इंप्लिसिट कैश हिट की संभावना बढ़ाने के लिए:

  • अपने प्रॉम्प्ट की शुरुआत में, बड़े और सामान्य कॉन्टेंट को शामिल करें
  • कम समय में, एक जैसे प्रीफ़िक्स वाले अनुरोध भेजने की कोशिश करना

जवाब ऑब्जेक्ट के usage.total_cached_tokens (Python और JavaScript) फ़ील्ड में, कैश मेमोरी से मिले टोकन की संख्या देखी जा सकती है.