Gemini 1.5 Flash, 10 लाख टोकन वाली कॉन्टेक्स्ट विंडो के साथ स्टैंडर्ड आता है. Gemini 1.5 Pro में 20 लाख टोकन वाली कॉन्टेक्स्ट विंडो होती है. ऐतिहासिक तौर पर, बड़ा भाषा के मॉडल (एलएलएम), टेक्स्ट की मात्रा की वजह से बहुत सीमित थे (या टोकन) शामिल हैं, जिन्हें एक बार में मॉडल को पास किया जा सकता है. Gemini 1.5 लंबा कॉन्टेक्स्ट विंडो, जिसके लिए ठीक तरह से वापस आने की सुविधा दी गई हो (>99%), कई नए इस्तेमाल के उदाहरण और डेवलपर के मॉडल अनलॉक करता है.
वह कोड जिसका उपयोग आप पहले से ही text जैसे मामलों में करते हैं जनरेशन या मल्टीमॉडल इनपुट ज़्यादा कॉन्टेक्स्ट के साथ काम करेंगे.
इस पूरी गाइड में, आपने कॉन्टेक्स्ट विंडो की बुनियादी बातों के बारे में कम शब्दों में बताया है कि डेवलपर को लंबे संदर्भ और असल दुनिया में इस्तेमाल किए जाने वाले उदाहरणों के बारे में सोचना चाहिए लंबे संदर्भ और लंबे संदर्भ के इस्तेमाल को ऑप्टिमाइज़ करने के तरीके शामिल हैं.
कॉन्टेक्स्ट विंडो क्या होती है?
Gemini 1.5 मॉडल को इस्तेमाल करने का आसान तरीका, जानकारी देना (कॉन्टेक्स्ट) पास करना है जो बाद में एक जवाब जनरेट करेगा. इसके लिए आम तौर पर कॉन्टेक्स्ट विंडो, शॉर्ट टर्म मेमोरी होती है. उस विषय के बारे में सीमित जानकारी जिसे किसी व्यक्ति की शॉर्ट टर्म मेमोरी में सेव किया जा सकता है. साथ ही, यह जनरेटिव मॉडल.
मॉडल कैसे काम करते हैं, इस बारे में ज़्यादा जानने के लिए जनरेटिव मॉडल देखें गाइड देखें.
लंबे कॉन्टेक्स्ट के साथ शुरू करें
पिछले कुछ सालों में बनाए गए ज़्यादातर जनरेटिव मॉडल में सिर्फ़ ये काम किए जा सकते थे एक बार में 8,000 टोकन प्रोसेस करना. नए मॉडल ने 32,000 टोकन या 1,28,000 टोकन. Gemini 1.5 ऐसा पहला मॉडल है जिसमें ये काम किए जा सकते हैं 10 लाख टोकन स्वीकार किए जा रहे हैं. अब Gemini 1.5 के साथ 20 लाख टोकन स्वीकार किए जा रहे हैं Pro.
व्यावहारिक तौर पर, 10 लाख टोकन कुछ ऐसे दिखेंगे:
- कोड की 50,000 लाइनें (हर लाइन में 80 वर्ण स्टैंडर्ड होते हैं)
- वे सभी मैसेज जो आपने पिछले पांच सालों में भेजे हैं
- अंग्रेज़ी के आठ सामान्य उपन्यास
- पॉडकास्ट के 200 से ज़्यादा औसत अवधि वाले एपिसोड के ट्रांसक्रिप्ट
भले ही मॉडल ज़्यादा से ज़्यादा कॉन्टेक्स्ट ले सकते हैं, लेकिन ज़्यादातर लार्ज लैंग्वेज मॉडल का इस्तेमाल करने के बारे में पारंपरिक समझ सीमा अब मॉडल में है. यह 2024 से लागू नहीं हुई थी.
छोटी कॉन्टेक्स्ट विंडो की सीमा को मैनेज करने के लिए, कुछ सामान्य रणनीतियां शामिल हैं:
- संदर्भ विंडो से अपने-आप पुराने मैसेज / टेक्स्ट को नए टेक्स्ट के तौर पर छोड़ना आता है
- पिछले कॉन्टेंट को कम शब्दों में बताना और उसे जवाब से बदलना कॉन्टेक्स्ट विंडो करीब-करीब भर गई है
- डेटा को कॉन्टेक्स्ट विंडो से बाहर ले जाने के लिए और सिमैंटिक खोज के साथ RAG का इस्तेमाल करना वेक्टर डेटाबेस में
- किसी टेक्स्ट को हटाने के लिए, डिटरमिनिस्टिक या जनरेटिव फ़िल्टर का इस्तेमाल करना टोकन सेव करने के लिए प्रॉम्प्ट के वर्ण
कुछ मामलों में, इनमें से कई विकल्प अब भी काम के हैं. हालांकि, डिफ़ॉल्ट जगह शुरू करने के लिए, अब सभी टोकन को कॉन्टेक्स्ट विंडो में डाला जा रहा है. क्योंकि Gemini के 1.5 मॉडल को लंबी अवधि वाली कॉन्टेक्स्ट विंडो को ध्यान में रखकर बनाया गया है. ये मॉडल वे कॉन्टेक्स्ट के हिसाब से सीखने में सक्षम हो जाते हैं. उदाहरण के लिए, सिर्फ़ इंस्ट्रक्शनल मटीरियल (500 पेजों का रेफ़रंस ग्रामर, डिक्शनरी, और ≈ 400 अतिरिक्त पैरलल) वाक्य) जो कॉन्टेक्स्ट में दिए गए हैं, वे Gemini 1.5 Pro और Gemini 1.5 Flash हैं अनुवाद करना सीखने की क्षमता है अंग्रेज़ी से कलामंग तक—यह एक पापुआन भाषा है, जिसमें 200 से कम बोलने वाले लोग हैं और इसलिए, इंटरनेट पर मौजूदगी की संभावना बहुत कम है—जो उस व्यक्ति से मिलती-जुलती है जिसने एक ही मटीरियल से.
यह उदाहरण बताता है कि कैसे आप यह सोचने की शुरुआत कर सकते हैं कि क्या संभव है Gemini 1.5 की लॉन्ग कॉन्टेक्स्ट और कॉन्टेक्स्ट के हिसाब से सीखने की सुविधाएँ.
लंबे कॉन्टेक्स्ट के इस्तेमाल के उदाहरण
ज़्यादातर जनरेटिव मॉडल में टेक्स्ट इनपुट ही स्टैंडर्ड इस्तेमाल होता है, लेकिन Gemini 1.5 मॉडल फ़ैमिली, एक से ज़्यादा मॉडल का इस्तेमाल करने का एक नया मॉडल उपलब्ध कराती है. ये ये मॉडल टेक्स्ट, वीडियो, ऑडियो, और इमेज को स्थानीय तौर पर समझ सकते हैं. वे हैं साथ में, Gemini API, जो मल्टीमॉडल फ़ाइल फ़ॉर्मैट में काम करता है टाइप सुविधा.
लंबी अवधि का टेक्स्ट
टेक्स्ट से यह साबित हो गया है कि यह इंटेलिजेंस की एक लेयर है और इसके आधार पर, दुनिया के बाकी एलएलएम का इस्तेमाल करके प्रशंसकों को आकर्षित करना. जैसा कि पहले बताया गया है, कॉन्टेंट मैनेजमेंट सिस्टम की व्यावहारिक सीमा एलएलएम, कॉन्टेक्स्ट विंडो के बड़े न होने की वजह से ही काम करते थे टास्क. इसकी वजह से, रिकवरीव ऑगमेंटेड जनरेशन (आरएजी) को तेज़ी से अपनाया गया और ऐसी अन्य तकनीकें जो मॉडल को डाइनैमिक रूप से, काम की जानकारी. अब, बड़ी और बड़ी संदर्भ विंडो के साथ (फ़िलहाल, Gemini 1.5 Pro पर 20 लाख तक, अब नई तकनीकें उपलब्ध हो रही हैं इससे आपको इस्तेमाल के नए उदाहरण मिलेंगे.
टेक्स्ट के आधार पर लंबे कॉन्टेक्स्ट के लिए, इस्तेमाल के कुछ उभरते और स्टैंडर्ड उदाहरण यहां दिए गए हैं:
- टेक्स्ट के बड़े संग्रह की खास जानकारी
- छोटे कॉन्टेक्स्ट मॉडल के साथ, खास जानकारी के पिछले विकल्पों की ज़रूरत होगी पिछले सेक्शन की स्थिति को बनाए रखने के लिए, स्लाइड करने वाली विंडो या अन्य तकनीक क्योंकि नए टोकन मॉडल को पास किए जाते हैं
- सवाल और जवाब
- पहले आरएजी की सीमित संख्या के साथ ही ऐसा किया जा सकता था कॉन्टेक्स्ट और मॉडल' तथ्यों पर आधारित कॉन्टेंट याद न होना
- एजेंटिक वर्कफ़्लो
- टेक्स्ट से यह पता चलता है कि एजेंट अपने काम की जानकारी कैसे देते हैं और उन्हें क्या करना होगा; दुनिया के बारे में ज़रूरी जानकारी उपलब्ध नहीं है और एजेंट का लक्ष्य, एजेंट की विश्वसनीयता पर एक सीमा होती है
मल्टी-शॉट इन-कॉन्टेक्स्ट लर्निंग लंबे कॉन्टेक्स्ट मॉडल से अनलॉक की गई सबसे खास क्षमताओं की रिसर्च में पता चला है जो सामान्य "सिंगल शॉट" या "मल्टी-शॉट" उदाहरण के लिए, जहां मॉडल को एक टास्क के एक या कुछ उदाहरणों के साथ दिखाया जाता है. साथ ही, इसे सैकड़ों, हज़ारों या लाखों उदाहरण भी लागू कर सकते हैं. नए मॉडल की क्षमताएँ. मल्टी-शॉट वाले इस तरीके को भी बेहतर तरीके से परफ़ॉर्म करते हुए दिखाया गया है ये मॉडल, उन मॉडल की तरह दिखते हैं जिन्हें किसी टास्क के लिए बेहतर बनाया जाता था. इस्तेमाल के उदाहरणों के लिए जहां Gemini मॉडल की परफ़ॉर्मेंस, प्रोडक्शन के लिए काफ़ी नहीं है रोल आउट के लिए, आप कई शॉट वाला तरीका आज़मा सकते हैं. जैसा कि आप बाद में लंबा कॉन्टेक्स्ट ऑप्टिमाइज़ेशन सेक्शन, कॉन्टेक्स्ट कैशिंग इस तरह का हाई इनपुट बनाती है टोकन का वर्कलोड आर्थिक रूप से बेहतर है. साथ ही, कुछ सेवाओं में इंतज़ार का समय भी कम होता है मामले.
लंबी अवधि के वीडियो
सुलभता की कमी की वजह से, लंबे समय से वीडियो कॉन्टेंट इस्तेमाल करने में समस्या आ रही है का हिस्सा हैं. कॉन्टेंट को हाइलाइट करना मुश्किल था, ट्रांसक्रिप्ट अक्सर फ़ेल हो जाती थी वीडियो की बारीकियों को कैप्चर करने की कोशिश करते हैं. ज़्यादातर टूल इमेज, टेक्स्ट, और एक साथ आ सकता है. Gemini 1.5 के साथ, लंबे कॉन्टेक्स्ट के साथ टेक्स्ट की सुविधा इस्तेमाल करने पर मल्टीमोडल इनपुट के बारे में रीज़निंग से जुड़े सवालों के जवाब देने और उनके जवाब देने की क्षमता लंबे समय तक चलने वाला है. Gemini 1.5 Flash, जब वीडियो में सुई पर टेस्ट किया गया हो 10 लाख टोकन की मदद से, वीडियो को 99.8% से ज़्यादा रीकॉल किया गया और 1.5 Pro ने बेहतरीन परफ़ॉर्मेंस में मदद की वीडियो-एमएमई बेंचमार्क.
लंबी अवधि वाले वीडियो के लिए, इस्तेमाल के कुछ उभरते और स्टैंडर्ड उदाहरण यहां दिए गए हैं:
- वीडियो से जुड़े सवाल और जवाब देना
- वीडियो मेमोरी, जैसा कि Google के Project Astra के साथ दिखाया गया है
- वीडियो कैप्शनिंग
- वीडियो के सुझाव देने वाले सिस्टम, जिनमें मौजूदा मेटाडेटा को नए मल्टीमोडल समझ
- डेटा के कलेक्शन और उससे जुड़े वीडियो को ध्यान में रखकर, वीडियो को अपनी पसंद के मुताबिक बनाया जा सकता है जो वीडियो के उन हिस्सों को हटा देते हैं जो दर्शक
- वीडियो कॉन्टेंट मॉडरेशन
- रीयल-टाइम में वीडियो प्रोसेस करना
वीडियो बनाते समय, यह ध्यान रखना ज़रूरी है कि वीडियो टोकन में प्रोसेस होती है, जिससे पिछले 30 मिनट में बिलिंग और इस्तेमाल की सीमा तय करें. वीडियो फ़ाइलों से प्रॉम्प्ट देने के बारे में ज़्यादा जानने के लिए, यहां जाएं: प्रॉम्प्टिंग गाइड देखें.
लंबी अवधि के वीडियो का ऑडियो
Gemini 1.5 मॉडल, पहले स्थानीय मल्टीमोडल लार्ज लैंग्वेज मॉडल थे जो ऑडियो को समझ सके. ऐतिहासिक रूप से, सामान्य डेवलपर वर्कफ़्लो कई डोमेन विशिष्ट मॉडल को एक साथ स्ट्रिंग करना शामिल है, जैसे ऑडियो प्रोसेस करने के लिए, बोली को लिखाई में बदलने वाले मॉडल और टेक्स्ट को लिखाई में बदलने वाले मॉडल का इस्तेमाल किया जाता है. यह दोतरफ़ा यात्रा के कई अनुरोध करने पर, इंतज़ार का समय और बढ़ गया और इसकी परफ़ॉर्मेंस में कमी की वजह, आम तौर पर इसके डिसकनेक्ट किए गए आर्किटेक्चर की वजह से होती है .
ऑडियो हैश की स्टैंडर्ड जांच के हिसाब से, Gemini 1.5 Pro हर जांच में छिपी हुई ऑडियो रिकॉर्डिंग और Gemini 1.5 Flash इस सुविधा को 98.7% टेस्ट. Gemini 1.5 Flash में, एक बार में 9.5 घंटे तक के ऑडियो ऐक्सेस किए जा सकते हैं अनुरोध और Gemini 1.5 Pro में 20 लाख टोकन का इस्तेमाल करके, 19 घंटे तक के ऑडियो कॉन्टेंट को स्वीकार किया जा सकता है कॉन्टेक्स्ट विंडो. इसके अलावा, 15 मिनट की ऑडियो क्लिप के टेस्ट सेट में, Gemini 1.5 Pro को टेस्ट किया गया है करीब 5.5% की वर्ड एरर रेट (WER) संग्रहित करता है, जो विशेष सुविधा से काफ़ी कम है अतिरिक्त इनपुट सेगमेंटेशन की जटिलता के बिना, बोली को लिखाई में बदलने वाले मॉडल और प्री-प्रोसेस.
कॉन्टेंट को ऑडियो के तौर पर इस्तेमाल करने के कुछ उभरते और स्टैंडर्ड उदाहरण यहां दिए गए हैं:
- रीयल-टाइम में बोली को लेख में बदलने और अनुवाद की सुविधा
- पॉडकास्ट / वीडियो से जुड़े सवाल और उनके जवाब देना
- मीटिंग में बोले जा रहे शब्दों को टेक्स्ट में बदलना और खास जानकारी पाना
- वॉयस असिस्टेंट
प्रॉम्प्टिंग में ऑडियो फ़ाइलों से प्रॉम्प्ट देने के बारे में ज़्यादा जानें गाइड देखें.
लंबे कॉन्टेक्स्ट के लिए ऑप्टिमाइज़ेशन
Gemini 1.5 और लंबे कॉन्टेक्स्ट के साथ काम करने के दौरान इस्तेमाल किया जाने वाला मुख्य ऑप्टिमाइज़ेशन मॉडल कॉन्टेक्स्ट का इस्तेमाल करें कैश मेमोरी में सेव करने की सुविधा. पिछली क्वेरी के मुकाबले एक ही अनुरोध में कई टोकन प्रोसेस नहीं किए जा सकते. दूसरे मुख्य किसी समस्या की वजह से खर्च नहीं हो पाता. अगर आपने "अपने डेटा के साथ चैट करें" सुविधा चालू की है जिस ऐप्लिकेशन में उपयोगकर्ता एक वीडियो, 10 PDF, और काम से जुड़े कुछ दस्तावेज़ अपलोड किए जाते हैं. ज़्यादा कॉम्प्लेक्स रिकवरी ऑगमेंटेड जनरेशन (आरएजी) टूल / करने के लिए एक फ़्रेमवर्क का इस्तेमाल किया जाता है, ताकि इन अनुरोधों को प्रोसेस किया जा सके और टोकन कॉन्टेक्स्ट विंडो में ले जाए गए. अब, उपयोगकर्ता की फ़ाइलों को कैश मेमोरी में सेव किया जा सकता है अपलोड करता है और उन्हें हर घंटे सेव करने के लिए पेमेंट करता है. इनपुट / आउटपुट लागत प्रति Gemini से अनुरोध करें 1.5 उदाहरण के लिए, फ़्लैश मानक इनपुट / आउटपुट लागत से ~4x कम है, इसलिए अगर जब उपयोगकर्ता अपने डेटा से चैट करता है, तो यह आपके लिए बहुत बड़ी लागत की बचत बन जाता है. डेवलपर को चुनें.
लंबे कॉन्टेक्स्ट के लिए सीमाएं
इस गाइड के अलग-अलग सेक्शन में, हमने बताया है कि Gemini 1.5 मॉडल की मदद से, कई तरह की सुई की मदद से एक ही जगह पर वापस लाने की प्रोसेस के दौरान इसकी परफ़ॉर्मेंस अच्छी थी. ये जांच सबसे बुनियादी सेटअप पर विचार करती है, जिसमें आपको एक सुई ढूंढने में मदद मिलती है. ऐसे मामलों में जहां आपको एक से ज़्यादा "सुई" मिल सकती हैं या फिर तो मॉडल उसी तरह काम नहीं करता है जैसे आप चाहते हैं ज़्यादा सटीक होता है. कॉन्टेक्स्ट के हिसाब से, परफ़ॉर्मेंस में काफ़ी उतार-चढ़ाव हो सकता है. यह पर विचार करना ज़रूरी है, क्योंकि की जा सकती है. आपको एक ही क्वेरी पर ~99% मिल सकता है, लेकिन हर बार क्वेरी भेजने पर, आपको इनपुट टोकन की कीमत चुकानी होती है. इसलिए, 100 के लिए कुछ जानकारी है, जिसे वापस पाया जा सकता है. अगर आपको 99% परफ़ॉर्मेंस की ज़रूरत है, तो आपको 100 अनुरोध भेजने की ज़रूरत होती है. यह एक अच्छा उदाहरण है कि संदर्भ कैश मेमोरी में सेव करने से, Gemini मॉडल का इस्तेमाल करने में आने वाला खर्च काफ़ी कम हो सकता है वे परफ़ॉर्मेंस को बेहतर बनाए रख सकते हैं.
अक्सर पूछे जाने वाले सवाल
किसी क्वेरी में ज़्यादा टोकन जोड़ने पर, क्या मॉडल की परफ़ॉर्मेंस पर असर पड़ता है?
आम तौर पर, अगर आपको मॉडल पर टोकन पास करने की ज़रूरत नहीं है, तो उसे पास न होने दें. हालांकि, अगर आपके पास कुछ टोकन जानकारी पाने और उस जानकारी के बारे में सवाल पूछने के लिए, मॉडल उस जानकारी को बहुत तेज़ी से निकाला जा सकता है (कई मामलों में 99% तक सटीक मामले).
भूसे के ढेर में सुई की सामान्य जांच करने पर, Gemini 1.5 Pro कैसा परफ़ॉर्म करता है?
Gemini 1.5 Pro ने 5.30 लाख टोकन तक 100% रीकॉल और >99.7% से ज़्यादा रीकॉल इस तारीख तक हासिल किए हैं दस लाख टोकन हैं.
मैं लंबी जानकारी वाली क्वेरी से अपनी लागत को कैसे कम करूं?
अगर आपके पास टोकन / कॉन्टेक्स्ट का कोई ऐसा सेट है जिसे आपको कई टोकन/कॉन्टेक्स्ट का फिर से इस्तेमाल करना है, तो कई बार, कॉन्टेक्स्ट को कैश मेमोरी में सेव करने की सुविधा से लागत कम की जा सकती है उस जानकारी के बारे में सवाल पूछने से जुड़े विज्ञापन.
मुझे 20 लाख टोकन वाली कॉन्टेक्स्ट विंडो का ऐक्सेस कैसे मिल सकता है?
सभी डेवलपर अब Gemini की मदद से, 20 लाख टोकन वाली कॉन्टेक्स्ट विंडो को ऐक्सेस कर सकते हैं 1.5 Pro.
क्या संदर्भ की लंबाई, मॉडल के इंतज़ार के समय पर असर डालती है?
हर अनुरोध में इंतज़ार का समय कुछ तय होता है. इससे कोई फ़र्क़ नहीं पड़ता कि साइज़, लेकिन आम तौर पर लंबी क्वेरी के लिए इंतज़ार का समय ज़्यादा होगा (पहले से शुरू होता है) टोकन).
क्या Gemini 1.5 Flash और Gemini 1.5 Pro के लिए, लंबी अवधि के कॉन्टेक्स्ट की सुविधाओं में अंतर है?
हां, कुछ नंबर इस गाइड के अलग-अलग सेक्शन में बताए गए थे, लेकिन आम तौर पर, Gemini 1.5 Pro लंबे कॉन्टेक्स्ट के साथ बेहतर नतीजे देता है.