कॉन्टेक्स्ट को कैश मेमोरी में सेव करना

एआई के सामान्य वर्कफ़्लो में, एक ही इनपुट टोकन को बार-बार किसी मॉडल को पास किया जा सकता है. Gemini API, परफ़ॉर्मेंस और लागत को ऑप्टिमाइज़ करने के लिए, इंप्लिसिट कैश मेमोरी की सुविधा देता है.

इंप्लिसिट कैशिंग

Gemini 2.5 और इसके बाद के सभी मॉडल के लिए, इंप्लिसिट कैश मेमोरी की सुविधा डिफ़ॉल्ट रूप से चालू होती है. अगर आपका अनुरोध कैश मेमोरी से मिलता है, तो हम लागत में हुई बचत को अपने-आप लागू कर देते हैं. इसे चालू करने के लिए, आपको कुछ भी करने की ज़रूरत नहीं है. कॉन्टेक्स्ट को कैश मेमोरी में सेव करने के लिए, हर मॉडल के लिए कम से कम इनपुट टोकन की संख्या यहां दी गई है:

मॉडल कम से कम टोकन सीमा
Gemini 3 Flash की झलक 1024
Gemini 3 Pro की झलक 4096
Gemini 2.5 Flash 1024
Gemini 2.5 Pro 4096

इंप्लिसिट कैश हिट की संभावना बढ़ाने के लिए:

  • अपने प्रॉम्प्ट की शुरुआत में, बड़े और सामान्य कॉन्टेंट को शामिल करें
  • कम समय में, एक जैसे प्रीफ़िक्स वाले अनुरोध भेजने की कोशिश करना

जवाब ऑब्जेक्ट के usage_metadata (Python) या usageMetadata (JavaScript) फ़ील्ड में, आपको उन टोकन की संख्या दिखेगी जो कैश मेमोरी में मौजूद थे.