कॉन्टेक्स्ट कैश मेमोरी

आम तौर पर, एआई वर्कफ़्लो में किसी मॉडल को एक ही इनपुट टोकन बार-बार पास किया जा सकता है. Gemini API, परफ़ॉर्मेंस और लागत को ऑप्टिमाइज़ करने के लिए, इंप्लिसिट कैश मेमोरी की सुविधा देता है.

इंप्लिसिट कैशिंग

Gemini 2.5 और इसके बाद के सभी मॉडल के लिए, इंप्लिसिट कैश मेमोरी की सुविधा डिफ़ॉल्ट रूप से चालू होती है. यह स्टेटफ़ुल (previous_interaction_id का इस्तेमाल करके) और स्टेटलेस, दोनों तरह के बातचीत मोड के साथ काम करता है. अगर आपका अनुरोध कैश मेमोरी में सेव किए गए डेटा से पूरा हो जाता है, तो हम अपने-आप कम शुल्क लेते हैं. इसे चालू करने के लिए, आपको कुछ भी कॉन्फ़िगर करने की ज़रूरत नहीं है. यहां दी गई टेबल में, हर मॉडल के लिए इनपुट टोकन की कम से कम संख्या दी गई है:

मॉडल	टोकन की कम से कम सीमा
Gemini 4 Argon	4,096
Gemini 3.8 Flash	4,096
Gemini 3.6 Flash	4,096
Gemini 3.1 Pro Preview	4,096
Gemini 2.5 Flash	2,048
Gemini 2.5 Pro	2,048

इंप्लिसिट कैश हिट की संभावना बढ़ाने के लिए:

• अपने प्रॉम्प्ट की शुरुआत में, बड़े और सामान्य कॉन्टेंट को शामिल करें
• कम समय में एक जैसे प्रीफ़िक्स वाले अनुरोध भेजने की कोशिश करना

रिस्पॉन्स ऑब्जेक्ट के usage.total_cached_tokens (Python और JavaScript) फ़ील्ड में, कैश मेमोरी में सेव किए गए टोकन की संख्या देखी जा सकती है.