Bug0, Gemini 2.5 Pro की मदद से मैन्युअल टेस्ट की डीबगिंग को 60% तक कम करता है

सॉफ़्टवेयर क्वालिटी अश्योरेंस (QA) के लिए, अक्सर ऐसे टेस्ट का इस्तेमाल किया जाता है जो यूज़र इंटरफ़ेस में बदलाव होने पर काम नहीं करते. ये टेस्ट, सिलेक्टर पर आधारित होते हैं. आम तौर पर, इन गड़बड़ियों को ठीक करने के लिए इंजीनियरों को टेस्ट लॉग और रिकॉर्डिंग की मैन्युअल तरीके से समीक्षा करनी पड़ती है. इसमें काफ़ी समय लगता है और डेवलपमेंट की प्रोसेस धीमी हो जाती है.

Bug0, एआई की मदद से काम करने वाला एक QA प्लैटफ़ॉर्म है. यह इंजीनियरिंग टीमों के लिए, ब्राउज़र और मोबाइल की टेस्टिंग को अपने-आप पूरा करता है. उनका प्लैटफ़ॉर्म, बड़े पैमाने पर टेस्ट जनरेट करने, उन्हें बनाए रखने, और अपने-आप ठीक होने के लिए डिज़ाइन किया गया है. इससे, पारंपरिक क्यूए से जुड़ी समस्याएं कम हो जाती हैं.

टेस्ट के नतीजों को ज़्यादा भरोसेमंद बनाने और डीबग करने की प्रोसेस को ऑटोमेट करने के लिए, Bug0, Gemini 2.5 Pro की मल्टीमॉडल रीज़निंग क्षमताओं का इस्तेमाल करता है. इससे टेस्ट की रिकॉर्डिंग का विश्लेषण किया जाता है, नतीजों की पुष्टि की जाती है, और गड़बड़ियों की मुख्य वजह का अपने-आप पता लगाया जाता है.

Bug0 का मकसद, Playwright जैसे पारंपरिक असर्शन फ़्रेमवर्क पर निर्भरता कम करना है. ये फ़्रेमवर्क, खास कोड सिलेक्टर पर निर्भर होते हैं. ये सिलेक्टर अक्सर पुराने हो जाते हैं. उन्हें ऐसे तरीके की भी ज़रूरत थी जिससे वे मैन्युअल तरीके से काम किए बिना, टेस्ट के नतीजों का विश्लेषण कर सकें.

Bug0 के को-फ़ाउंडर और सीटीओ संदीप पांडा ने कहा, "टेस्ट फ़ेल होने की मुख्य वजह का पता लगाने के लिए, टेस्ट की पूरी रिकॉर्डिंग देखने में काफ़ी समय लगता था. साथ ही, जटिल सिलेक्टर या फ़्लेकी असर्शन को बनाए रखने से, हमारी प्रोसेस धीमी हो जाती थी." "हमें एआई का इस्तेमाल करके, टेस्ट के मकसद और नतीजों की खास जानकारी अपने-आप जनरेट करने का तरीका चाहिए था."

Bug0 ने Gemini 2.5 Pro को खास तौर पर इसलिए चुना, क्योंकि इसमें ऐडवांस मल्टीमॉडल की सुविधाएँ हैं. ख़ास तौर पर, वीडियो को समझने की क्षमता.

उन्होंने Gemini 2.5 Pro को दो मुख्य कामों के लिए इस्तेमाल किया:

• एआई असर्शन इंजन: यह इंजन, विज़ुअल या स्ट्रक्चरल सबूतों के आधार पर यह आकलन करता है कि टेस्ट का मकसद पूरा हुआ है या नहीं. जैसे, वीडियो रिकॉर्डिंग, पेज के स्क्रीनशॉट या ऐक्सेसिबिलिटी स्नैपशॉट. यह कमज़ोर कोड लोकेटर की जगह, एआई की मदद से काम करने वाले मज़बूत दावे इस्तेमाल करता है.
• टेस्ट के नतीजे की खास जानकारी: एआई एजेंट, फ़ेल हुए टेस्ट की वीडियो रिकॉर्डिंग का विश्लेषण करता है. साथ ही, टेस्ट फ़ेल होने की मुख्य वजह की खास जानकारी देता है. जैसे, कोई बटन मौजूद न होना या गलत रीडायरेक्ट होना. इससे इंजीनियर को फ़ुटेज की मैन्युअल तरीके से समीक्षा करने की ज़रूरत कम पड़ती है.

Bug0 ने Node.js में Google Gen AI SDK का इस्तेमाल करके, Gemini 2.5 Pro को इंटिग्रेट किया. शुरुआती इंटिग्रेशन में, प्रॉम्प्ट एक्सपेरिमेंट और ट्यूनिंग में करीब तीन दिन लगे.

इनका एआई असर्शन इंजन, टेस्टिंग फ़्रेमवर्क की कार्रवाइयों को Gemini 2.5 Pro की आकलन क्षमताओं के साथ जोड़ता है. फ़्रेमवर्क, टेस्ट के चरणों को पूरा करता है. इसके बाद, Gemini 2.5 Pro, नतीजे के तौर पर मिले आउटपुट का आकलन करता है.

"हमारे असर्शन इंजन में, हम Gemini 2.5 Pro को Playwright के साथ जोड़ते हैं. Playwright, चरणों को पूरा करता है. पांडा ने बताया कि Gemini 2.5 Pro, विज़ुअल आउटपुट का आकलन करता है. साथ ही, यह पुष्टि करता है कि उम्मीद के मुताबिक नतीजे मिले हैं या नहीं. "इससे हमें कमज़ोर लोकेटर या हार्ड-कोड की गई उम्मीदों को लिखने की ज़रूरत नहीं पड़ती. हम Gemini 2.5 Pro की मदद से, नैचुरल लैंग्वेज के दावे पर भरोसा कर सकते हैं."

गड़बड़ी की खास जानकारी के लिए, Bug0 एक खास प्रॉम्प्ट फ़ॉर्मैट का इस्तेमाल करता है. इसमें वीडियो रिकॉर्डिंग, गड़बड़ी के लॉग, और उम्मीद के मुताबिक काम करने की जानकारी शामिल होती है. Gemini 2.5 Pro, इस इनपुट को प्रोसेस करता है. इससे, लोगों को आसानी से समझ आने वाली खास जानकारी जनरेट होती है. इसमें बताया जाता है कि टेस्ट क्यों पास नहीं हुआ. इन ज़रूरी सवालों के जवाब देने के लिए, Gemini 2.5 Pro का सटीक होना ज़रूरी था.

Gemini 2.5 Pro को इंटिग्रेट करने से, Bug0 के डीबगिंग वर्कफ़्लो में काफ़ी सुधार हुआ है. साथ ही, उनके प्लैटफ़ॉर्म की विश्वसनीयता भी बढ़ी है. Bug0 ने मैन्युअल डीबगिंग और असर्शन लिखने की प्रोसेस को एआई की मदद से काम करने वाले वर्कफ़्लो से बदल दिया. इससे, ग्राहकों के लिए डेवलपमेंट की प्रोसेस को तेज़ किया जा सका.

मुख्य नतीजों में ये शामिल हैं:

• इंजीनियरों को मैन्युअल तरीके से देखने की ज़रूरत वाले, टेस्ट में फ़ेल हुए वीडियो की संख्या में 60% की कमी
• अब टेस्ट के 70%से ज़्यादा मामलों में, गड़बड़ी की मुख्य वजह के बारे में सटीक जानकारी के साथ, अपने-आप खास जानकारी जनरेट हो जाती है
• पारंपरिक सिलेक्टर पर आधारित तरीकों की तुलना में, पुष्टि करने की प्रक्रिया में गड़बड़ी होने की संभावना में काफ़ी कमी आई है

पांडा ने कहा,"Gemini 2.5 Pro ने हमारी काम करने की रफ़्तार को बढ़ा दिया है." "इसकी मदद से, हमें अपने मुख्य प्रॉडक्ट के अनुभव को बेहतर बनाने में मदद मिली. साथ ही, टेस्ट की समीक्षा करने में लगने वाले समय को कम करके, हमें तुरंत फ़ीडबैक पाने में मदद मिली."

Bug0, अब एआई की मदद से टेस्ट लिखने की सुविधा डेवलप कर रहा है. उपयोगकर्ता, यूज़र फ़्लो का वीडियो सबमिट कर पाएंगे. Bug0, वीडियो का विश्लेषण करने के लिए Gemini 2.5 Pro का इस्तेमाल करेगा. साथ ही, इससे जुड़ी टेस्ट स्क्रिप्ट और दावे अपने-आप जनरेट करेगा.

अपने ऐप्लिकेशन बनाना शुरू करने के लिए, हमारे एपीआई के दस्तावेज़ में Gemini मॉडल की मल्टीमॉडल क्षमताओं के बारे में जानें.