Gemini API, ऑप्टिमाइज़ेशन के कई तरीके उपलब्ध कराता है. इनकी मदद से, अपने वर्कलोड की ज़रूरतों के हिसाब से स्पीड, लागत, और विश्वसनीयता को संतुलित किया जा सकता है. चाहे आपको रीयल-टाइम में बातचीत करने वाले बॉट बनाने हों या ऑफ़लाइन डेटा प्रोसेसिंग पाइपलाइन चलाने हों, सही पैराडाइम चुनने से लागत में काफ़ी कमी आ सकती है या परफ़ॉर्मेंस बेहतर हो सकती है.
| सुविधा | स्टैंडर्ड | Flex | प्राथमिकता | बैच | कैश मेमोरी में सेव करना |
|---|---|---|---|---|---|
| कीमत | पूरी कीमत | 50% की छूट | स्टैंडर्ड वर्शन की सीमाओं के मुकाबले 75% से 100% ज़्यादा | 50% की छूट | 90% की छूट + टोकन के लिए स्टोरेज का हिसाब |
| इंतज़ार का समय | सेकंड से मिनट | मिनट (1 से 15 मिनट का टारगेट) | सेकंड | 24 घंटे तक | पहले टोकन में लगने वाला समय कम हो जाता है |
| भरोसेमंद होना | ज़्यादा / सामान्य से ज़्यादा | सबसे अच्छी कोशिश (शेड किया जा सकता है) | ज़्यादा (न झड़ने वाले) | हाई (थ्रूपुट के लिए) | लागू नहीं |
| इंटरफ़ेस | सिंक्रोनस | सिंक्रोनस | सिंक्रोनस | एसिंक्रोनस | सेव की गई स्थिति |
| इस्तेमाल का सबसे सही उदाहरण | ऐप्लिकेशन के सामान्य वर्कफ़्लो | ऐसे ईमेल जो क्रम में चलने वाले होते हैं और ज़रूरी नहीं होते | प्रोडक्शन, इस्तेमाल करने वाले लोगों के लिए उपलब्ध ऐप्लिकेशन | बड़े डेटासेट, ऑफ़लाइन आकलन | एक ही फ़ाइल के बारे में बार-बार क्वेरी करना |
अनुमान लगाने की सेवा के टियर (सिंक्रोनस)
अपने स्टैंडर्ड जनरेशन कॉल में service_tier पैरामीटर पास करके, रिलायबिलिटी-ऑप्टिमाइज़ किए गए और लागत-ऑप्टिमाइज़ किए गए सिंक्रोनस ट्रैफ़िक के बीच स्विच किया जा सकता है.
स्टैंडर्ड अनुमान (डिफ़ॉल्ट)
क्रम से कॉन्टेंट जनरेट करने के लिए, स्टैंडर्ड टियर डिफ़ॉल्ट विकल्प होता है. इसमें जवाब मिलने में सामान्य समय लगता है. इसके लिए, आपको कोई अतिरिक्त शुल्क नहीं देना पड़ता और न ही ज़्यादा इंतज़ार करना पड़ता है.
- भरोसेमंद: स्टैंडर्ड क्रिटिकैलिटी
- कीमत: स्टैंडर्ड कीमत.
- इसके लिए सबसे अच्छा है: रोज़ाना इस्तेमाल किए जाने वाले ऐसे ऐप्लिकेशन जिनमें ज़्यादा इंटरैक्शन की ज़रूरत होती है.
प्राथमिकता के आधार पर अनुमान लगाना (कम इंतज़ार के समय के लिए ऑप्टिमाइज़ किया गया)
प्राथमिकता प्रोसेसिंग, आपके अनुरोधों को ज़्यादा ज़रूरी कंप्यूट क्यू में भेजती है. इस ट्रैफ़िक को किसी भी तरह से कम नहीं किया जा सकता. इसे अन्य टियर कभी भी पहले से नहीं रोक सकते. साथ ही, यह सबसे ज़्यादा भरोसेमंद होता है. अगर डाइनैमिक प्राथमिकता की सीमाओं का उल्लंघन किया जाता है, तो सिस्टम गड़बड़ी दिखाने के बजाय, अनुरोध को स्टैंडर्ड प्रोसेसिंग पर डाउनग्रेड कर देगा.
- भरोसेमंद: सबसे ज़्यादा ज़रूरी
- कीमत: स्टैंडर्ड दरों से 75% से 100% ज़्यादा.
- सबसे सही विकल्प: ग्राहकों के लिए चैटबॉट, रीयल-टाइम में धोखाधड़ी का पता लगाने वाले टूल, और कारोबार के लिए ज़रूरी कोपायलट.
Flex inference (लागत के हिसाब से ऑप्टिमाइज़ किया गया)
फ़्लेक्स इन्फ़्रेंस की सुविधा के तहत, स्टैंडर्ड दरों की तुलना में 50% की छूट मिलती है. ऐसा इसलिए होता है, क्योंकि इसमें कंप्यूटिंग के लिए, ऑफ़-पीक समय में उपलब्ध क्षमता का इस्तेमाल किया जाता है. अनुरोधों को सिंक्रोनस तरीके से प्रोसेस किया जाता है. इसका मतलब है कि आपको बैच ऑब्जेक्ट मैनेज करने के लिए, कोड को फिर से लिखने की ज़रूरत नहीं है. यह "शेड किया जा सकने वाला" ट्रैफ़िक है. इसलिए, अगर सिस्टम में स्टैंडर्ड ट्रैफ़िक में बढ़ोतरी होती है, तो अनुरोधों को पहले ही खारिज किया जा सकता है.
- भरोसेमंद: बिना गारंटी, हटाई जा सकने वाली क्रिटिकैलिटी
- कीमत: स्टैंडर्ड कीमत का 50% (हर टोकन के हिसाब से बिल किया जाता है).
- इसके लिए सबसे सही: कई चरणों वाले एजेंटिक वर्कफ़्लो, जहां कॉल N+1, कॉल N के आउटपुट, बैकग्राउंड सीआरएम अपडेट, और ऑफ़लाइन आकलन पर निर्भर करता है.
बैच एपीआई (एक साथ कई अनुरोध, एसिंक्रोनस)
बैच एपीआई को बड़ी संख्या में अनुरोधों को एसिंक्रोनस तरीके से प्रोसेस करने के लिए डिज़ाइन किया गया है. यह स्टैंडर्ड कीमत के 50% पर उपलब्ध है. अनुरोधों को इन-लाइन डिक्शनरी के तौर पर या JSONL इनपुट फ़ाइल (ज़्यादा से ज़्यादा 2 जीबी) का इस्तेमाल करके सबमिट किया जा सकता है. यह बैकग्राउंड थ्रूपुट कतारों का इस्तेमाल करके अनुरोधों को प्रोसेस करता है. इसके लिए, 24 घंटे का टारगेट टर्नअराउंड टाइम तय किया गया है.
- भरोसेमंद: यह सुविधा उपलब्ध नहीं है. हालांकि, इसमें 24 घंटे के अंदर अपने-आप फिर से कोशिश करने और कतार में लगाने की सुविधा मिलती है
- कीमत: स्टैंडर्ड कीमत का 50%.
- इनके लिए सबसे सही है: बड़े डेटासेट को पहले से प्रोसेस करना, समय-समय पर रिग्रेशन टेस्ट सुइट चलाना, और बड़ी संख्या में इमेज या एम्बेड जनरेट करना.
कॉन्टेक्स्ट के लिए कैश मेमोरी की सुविधा (इनपुट सेव करने की सुविधा)
कॉन्टेक्स्ट को कैश मेमोरी में सेव करने की सुविधा का इस्तेमाल तब किया जाता है, जब छोटे अनुरोधों में शुरुआती कॉन्टेक्स्ट का बार-बार रेफ़रंस दिया जाता है.
- इंप्लिसिट कैश मेमोरी: यह सुविधा, Gemini 2.5 और इसके बाद के मॉडल पर अपने-आप चालू हो जाती है. अगर आपका अनुरोध, सामान्य प्रॉम्प्ट प्रीफ़िक्स के आधार पर मौजूदा कैश मेमोरी को हिट करता है, तो सिस्टम लागत में बचत करता है.
- एक्सप्लिसिट कैशिंग: मैन्युअल तरीके से, टाइम-टू-लिव (टीटीएल) के साथ कैश ऑब्जेक्ट बनाया जा सकता है. टोकन बनाने के बाद, आने वाले अनुरोधों के लिए कैश मेमोरी में सेव किए गए टोकन का इस्तेमाल करें. इससे एक ही कॉर्पस पेलोड को बार-बार पास करने से बचा जा सकता है. Gemini 4 Argon और इसके बाद के वर्शन के लिए, साफ़ तौर पर कैश मेमोरी में सेव करने की सुविधा उपलब्ध नहीं है.
- कीमत: बिलिंग, कैश मेमोरी में सेव किए गए टोकन की संख्या और स्टोरेज की अवधि (टीटीएल) के आधार पर की जाती है.
- इनके लिए सबसे सही: ऐसे चैटबॉट जिनके लिए सिस्टम के निर्देशों की ज़रूरत होती है, लंबी वीडियो फ़ाइलों का बार-बार विश्लेषण करना होता है या बड़े दस्तावेज़ सेट के ख़िलाफ़ क्वेरी करनी होती है.
एजेंटिक प्रोसेसिंग की मदद से, वीडियो इनपुट की लागत कम करना
लंबी अवधि के वीडियो कॉन्टेंट (पांच से 10 मिनट से ज़्यादा) या टारगेट की गई क्वेरी के लिए, एजेंटिक प्रोसेसिंग से इनपुट टोकन की लागत को 88% तक कम किया जा सकता है. साथ ही, जवाब की क्वालिटी को बेहतर बनाया जा सकता है. डिफ़ॉल्ट रूप से, सभी मॉडल (इनमें Gemini 4 भी शामिल है) 1 FPS पर फ़्रेम निकालने के लिए, स्टैटिक प्रोसेसिंग का इस्तेमाल करते हैं. एजेंटिक वीडियो अंडरस्टैंडिंग की मदद से, मॉडल सबसे पहले वीडियो ट्रांसक्रिप्ट की जांच करता है. इसके बाद, ज़रूरत के हिसाब से विज़ुअल सेगमेंट को ज़्यादा फ़्रेम रेट और रिज़ॉल्यूशन पर डाइनैमिक तरीके से लोड करता है. अगर आपको पांच मिनट से कम अवधि वाली छोटी क्लिप या पूरे वीडियो की खास जानकारी जनरेट करनी है, तो डिफ़ॉल्ट स्टैटिक प्रोसेसिंग मोड का इस्तेमाल करें. इससे आपको टीटीएफ़टी (पहले टोकन के लिए लगने वाला समय) कम लगेगा और टोकन ओवरहेड भी कम होगा. एजेंटिक मोड में, टाइमलाइन नेविगेशन के दौरान इंटरनल रीज़निंग (total_thought_tokens) और टूल के दोतरफ़ा यात्रा (total_tool_use_tokens) शामिल होते हैं.
Gemini 4 Argon, 3.8 Flash, 3.6 Flash या 3.5 Flash Lite के साथ एजेंटिक प्रोसेसिंग का इस्तेमाल करने के लिए, अपने वीडियो इनपुट पर processing: "agentic" (Interactions API) या media_processing: "AGENTIC" (GenerateContent API) सेट करें. अगर मॉडल, एजेंट की मदद से प्रोसेस करने की सुविधा के साथ काम नहीं करता है, तो गड़बड़ी का मैसेज दिखेगा.
ज़्यादा जानकारी के लिए, एजेंटिक वीडियो अंडरस्टैंडिंग देखें.