Gemini के मॉडल के लॉन्ग कॉन्टेक्स्ट की मदद से, एआई कोडिंग असिस्टेंट को ज़्यादा बेहतर बनाना

लंबे कॉन्टेक्स्ट वाली विंडो का इस्तेमाल करने के सबसे दिलचस्प फ़ायदों में से एक है कोड जनरेट करना और उसे समझना. बड़े कोडबेस के लिए, जटिल संबंधों और डिपेंडेंसी को गहराई से समझना ज़रूरी होता है. पारंपरिक एआई मॉडल को इसे समझने में मुश्किल होती है. बड़े कॉन्टेक्स्ट विंडो के साथ कोड की मात्रा बढ़ाकर, हम कोड जनरेट करने और उसे समझने में सटीकता और काम की जानकारी के एक नए लेवल को अनलॉक कर सकते हैं.

हमने Sourcegraph के साथ मिलकर काम किया है. Sourcegraph ने Cody AI कोडिंग असिस्टेंट बनाया है. यह Gemini 1.5 Pro और Flash जैसे एलएलएम के साथ काम करता है. हमने कोडिंग के रीयल-वर्ल्ड सिनेरियो में, बड़ी कॉन्टेक्स्ट विंडो की संभावनाओं का पता लगाने के लिए यह साझेदारी की है. Sourcegraph, एआई की मदद से कोड जनरेट करने की सुविधा में कोड सर्च और इंटेलिजेंस को इंटिग्रेट करने पर फ़ोकस करता है. साथ ही, इसने Palo Alto Networks और Leidos जैसी बड़ी और जटिल कोडबेस वाली कंपनियों के लिए, Cody को सफलतापूर्वक डिप्लॉय किया है. इसलिए, यह इस एक्सप्लोरेशन के लिए सबसे सही पार्टनर है.

Sourcegraph ने Cody के प्रोडक्शन वर्शन की तुलना, 10 लाख टोकन वाली कॉन्टेक्स्ट विंडो (Google के Gemini 1.5 Flash का इस्तेमाल करके) के साथ की. सीधे तौर पर तुलना करने से, उन्हें ज़्यादा जानकारी वाले कॉन्टेक्स्ट के फ़ायदों के बारे में पता चला. उन्होंने टेक्निकल सवालों के जवाब देने पर फ़ोकस किया. यह बड़े कोडबेस के साथ काम करने वाले डेवलपर के लिए एक ज़रूरी टास्क है. उन्होंने मुश्किल सवालों के ऐसे डेटासेट का इस्तेमाल किया जिनमें कोड को गहराई से समझने की ज़रूरत होती है.

नतीजे काफ़ी अच्छे थे. ज़्यादा कॉन्टेक्स्ट का इस्तेमाल करने पर, Sourcegraph के तीन मुख्य बेंचमार्क—ज़रूरी जानकारी को याद रखना, ज़रूरी जानकारी को कम शब्दों में बताना, और मददगार होना—में काफ़ी सुधार हुआ.

• ज़रूरी जानकारी को याद रखना: जवाब में ज़रूरी तथ्यों का अनुपात काफ़ी बढ़ गया है.

• ज़रूरी जानकारी को कम शब्दों में देना: जवाब की लंबाई के हिसाब से ज़रूरी तथ्यों का अनुपात भी बेहतर हुआ है. इससे पता चलता है कि जवाब ज़्यादा सटीक और काम के हैं.

• मददगार होने का स्कोर: जवाब की लंबाई के हिसाब से, मददगार होने का स्कोर काफ़ी बढ़ गया है. इससे पता चलता है कि उपयोगकर्ता को बेहतर अनुभव मिला है.

इसके अलावा, लंबे कॉन्टेक्स्ट वाले मॉडल का इस्तेमाल करने से, एआई के जवाबों में गलत जानकारी शामिल होने की दर में काफ़ी कमी आई है. भ्रामक जानकारी देने की दर 18.97% से घटकर 10.48% हो गई है. इससे, जवाबों के सटीक और भरोसेमंद होने में काफ़ी सुधार हुआ है.

लंबे कॉन्टेक्स्ट के कई फ़ायदे हैं, लेकिन इसके कुछ नुकसान भी हैं. कॉन्टेक्स्ट की लंबाई बढ़ने के साथ-साथ, पहले टोकन के जनरेट होने में लगने वाला समय भी बढ़ता जाता है. इस समस्या को कम करने के लिए, Sourcegraph ने प्रीफ़ेचिंग मेकेनिज़्म और मॉडल एक्ज़ीक्यूशन स्टेट को कैश मेमोरी में सेव करने के लिए, लेयर्ड कॉन्टेक्स्ट मॉडल आर्किटेक्चर को लागू किया. Gemini 1.5 Flash और Pro के लॉन्ग-कॉन्टेक्स्ट मॉडल की मदद से, 1 एमबी के कॉन्टेक्स्ट के लिए पहले टोकन को जनरेट होने में लगने वाले समय को 30 से 40 सेकंड से घटाकर करीब 5 सेकंड कर दिया गया है. यह रीयल-टाइम में कोड जनरेट करने और तकनीकी सहायता पाने के लिए एक बड़ा सुधार है.

इस साझेदारी से पता चलता है कि लंबे कॉन्टेक्स्ट वाले मॉडल, कोड को समझने और जनरेट करने के तरीके में कितना बदलाव ला सकते हैं. हमें Sourcegraph जैसी कंपनियों के साथ पार्टनरशिप करने में बेहद खुशी हो रही है. इससे हमें बड़ी कॉन्टेक्स्ट विंडो के साथ और भी ज़्यादा इनोवेटिव ऐप्लिकेशन और पैराडाइम अनलॉक करने में मदद मिलेगी.

Sourcegraph के आकलन के तरीकों, बेंचमार्क, और विश्लेषण के बारे में ज़्यादा जानने के लिए, ज़्यादा जानकारी देने वाला उनका ब्लॉग पोस्ट पढ़ना न भूलें. इसमें उदाहरण भी शामिल हैं.