कॉन्टेक्स्ट कैश मेमोरी

एआई के सामान्य वर्कफ़्लो में, किसी मॉडल को एक ही इनपुट टोकन बार-बार पास किया जा सकता है. Gemini API, परफ़ॉर्मेंस और लागत को ऑप्टिमाइज़ करने के लिए, इंप्लिसिट कैशिंग की सुविधा देता है.

इंप्लिसिट कैशिंग

Gemini 2.5 और इसके बाद के सभी मॉडल के लिए, इंप्लिसिट कैश मेमोरी की सुविधा डिफ़ॉल्ट रूप से चालू होती है. यह स्टेटफ़ुल (previous_interaction_id का इस्तेमाल करके) और स्टेटलेस, दोनों तरह के बातचीत मोड के लिए उपलब्ध है. अगर आपका अनुरोध कैश मेमोरी में सेव हो जाता है, तो हम अपने-आप लागत में बचत करते हैं. इसे चालू करने के लिए, आपको कुछ भी कॉन्फ़िगर करने की ज़रूरत नहीं है. यहां दी गई टेबल में, हर मॉडल के लिए कम से कम इनपुट टोकन की संख्या दी गई है:

मॉडल	टोकन की कम से कम सीमा
Gemini 4 Argon	4,096
Gemini 3.8 Flash	4,096
Gemini 3.6 Flash	4,096
Gemini 3.1 Pro की झलक	4,096
Gemini 2.5 Flash	2,048
Gemini 2.5 Pro	2,048

इंप्लिसिट कैश हिट की संभावना बढ़ाने के लिए:

• अपने प्रॉम्प्ट की शुरुआत में, बड़े और सामान्य कॉन्टेंट को शामिल करें
• कम समय में, एक जैसे प्रीफ़िक्स वाले अनुरोध भेजने की कोशिश करना

जवाब ऑब्जेक्ट के usage.total_cached_tokens (Python और JavaScript) फ़ील्ड में, कैश मेमोरी से मिले टोकन की संख्या देखी जा सकती है.