Gemini के मॉडल के लंबे कॉन्टेक्स्ट की मदद से, एआई कोडिंग असिस्टेंट को ज़्यादा बेहतर बनाना

लंबे कॉन्टेक्स्ट वाली विंडो का इस्तेमाल करने के सबसे दिलचस्प फ़ायदों में से एक है कोड जनरेट करना और उसे समझना. बड़े कोडबेस के लिए, जटिल संबंधों और डिपेंडेंसी को गहराई से समझना ज़रूरी होता है. पारंपरिक एआई मॉडल को इसे समझने में मुश्किल होती है. बड़े कॉन्टेक्स्ट विंडो के साथ कोड की मात्रा बढ़ाकर, हम कोड जनरेट करने और उसे समझने में सटीकता और काम की जानकारी के एक नए लेवल को अनलॉक कर सकते हैं.

हमने Sourcegraph के साथ मिलकर काम किया है. Sourcegraph ने Cody AI कोडिंग असिस्टेंट बनाया है. यह Gemini 1.5 Pro और Flash जैसे एलएलएम के साथ काम करता है. हमने कोडिंग के रीयल-वर्ल्ड सिनेरियो में, बड़ी कॉन्टेक्स्ट विंडो की संभावनाओं का पता लगाने के लिए यह साझेदारी की है. Sourcegraph, एआई की मदद से कोड जनरेट करने की सुविधा में कोड सर्च और इंटेलिजेंस को इंटिग्रेट करने पर फ़ोकस करता है. साथ ही, इसने Palo Alto Networks और Leidos जैसी बड़ी और जटिल कोडबेस वाली कंपनियों के लिए, Cody को सफलतापूर्वक डिप्लॉय किया है. इसलिए, यह इस एक्सप्लोरेशन के लिए सबसे सही पार्टनर है.

Sourcegraph ने Cody के प्रोडक्शन वर्शन की तुलना, 10 लाख टोकन वाली कॉन्टेक्स्ट विंडो (Google के Gemini 1.5 Flash का इस्तेमाल करके) के साथ की. इस प्रत्यक्ष तुलना से उन्हें विस्तारित संदर्भ के लाभों को अलग करने में मदद मिली. उन्होंने टेक्निकल सवालों के जवाब देने पर फ़ोकस किया. यह बड़े कोडबेस के साथ काम करने वाले डेवलपर के लिए एक ज़रूरी टास्क है. उन्होंने मुश्किल सवालों के ऐसे डेटासेट का इस्तेमाल किया जिनमें कोड को गहराई से समझने की ज़रूरत होती है.

परिणाम आश्चर्यजनक थे. सोर्सग्राफ के तीन प्रमुख मानक - एसेंशियल रिकॉल, एसेंशियल कॉन्सिशन और हेल्पफुलनेस - ने लंबे संदर्भ का उपयोग करते समय महत्वपूर्ण सुधार प्रदर्शित किए.

• ज़रूरी जानकारी को याद रखना: जवाब में ज़रूरी तथ्यों का अनुपात काफ़ी बढ़ गया है.

• ज़रूरी जानकारी को कम शब्दों में देना: जवाब में ज़रूरी जानकारी को कम शब्दों में देने की सुविधा भी बेहतर हुई है. इससे पता चलता है कि अब जवाब ज़्यादा सटीक और काम के हैं.

• मददगार होने का स्कोर: जवाब की लंबाई के हिसाब से, मददगार होने का स्कोर काफ़ी बढ़ गया है. इससे पता चलता है कि उपयोगकर्ता को बेहतर अनुभव मिला है.

इसके अलावा, लंबे कॉन्टेक्स्ट वाले मॉडल का इस्तेमाल करने से, तथ्यों के हिसाब से गलत जानकारी जनरेट होने की दर में काफ़ी कमी आई है. मतिभ्रम की दर 18.97% से घटकर 10.48% हो गई, जो सटीकता और विश्वसनीयता में उल्लेखनीय सुधार है.

लंबे कॉन्टेक्स्ट के कई फ़ायदे हैं, लेकिन इसके कुछ नुकसान भी हैं. प्रथम टोकन तक का समय संदर्भ की लंबाई के साथ रैखिक रूप से बढ़ता है. इस समस्या को कम करने के लिए, Sourcegraph ने प्रीफ़ेचिंग मेकेनिज़्म और मॉडल एक्ज़ीक्यूशन स्टेट को कैश मेमोरी में सेव करने के लिए, लेयर्ड कॉन्टेक्स्ट मॉडल आर्किटेक्चर को लागू किया. जेमिनी 1.5 फ्लैश और प्रो दीर्घ-संदर्भ मॉडल के साथ, इसने 1MB संदर्भों के लिए पहले टोकन के समय को 30-40 सेकंड से लगभग 5 सेकंड तक अनुकूलित किया - वास्तविक समय कोड निर्माण और तकनीकी सहायता के लिए एक उल्लेखनीय सुधार.

इस साझेदारी से पता चलता है कि लंबे कॉन्टेक्स्ट वाले मॉडल, कोड को समझने और जनरेट करने के तरीके में कितना बदलाव ला सकते हैं. हमें Sourcegraph जैसी कंपनियों के साथ पार्टनरशिप करने में बेहद खुशी हो रही है. इससे हमें बड़ी कॉन्टेक्स्ट विंडो के साथ और भी ज़्यादा इनोवेटिव ऐप्लिकेशन और पैराडाइम अनलॉक करने में मदद मिलेगी.

सोर्सग्राफ की विस्तृत मूल्यांकन पद्धतियों, बेंचमार्क और विश्लेषण, जिसमें उदाहरणात्मक उदाहरण भी शामिल हैं, के बारे में गहराई से जानने के लिए, उनके गहन ब्लॉग पोस्ट को ज़रूर पढ़ें.