اشکال‌زدایی تست دستی با استفاده از Gemini 2.5 Pro با Bug0 تا 60 درصد کاهش می‌یابد.

تضمین کیفیت نرم‌افزار (QA) سنتی اغلب به تست‌های شکننده و مبتنی بر انتخابگر متکی است که با تغییر رابط‌های کاربری از کار می‌افتند. اشکال‌زدایی این خرابی‌ها معمولاً مستلزم آن است که مهندسان به صورت دستی گزارش‌ها و ضبط‌های تست را بررسی کنند، فرآیندی زمان‌بر که سرعت توسعه را کند می‌کند.

Bug0 ، یک پلتفرم تضمین کیفیت مبتنی بر هوش مصنوعی، تست مرورگر و موبایل را برای تیم‌های مهندسی خودکار می‌کند. پلتفرم آنها برای تولید، نگهداری و بهبود خودکار تست‌ها در مقیاس بزرگ طراحی شده است و اصطکاک مرتبط با تضمین کیفیت سنتی را کاهش می‌دهد.

برای بهبود قابلیت اطمینان تست و خودکارسازی فرآیند اشکال‌زدایی، Bug0 از قابلیت‌های استدلال چندوجهی Gemini 2.5 Pro برای تجزیه و تحلیل ضبط‌های تست، اعتبارسنجی نتایج و تعیین خودکار علت اصلی شکست‌ها استفاده می‌کند.

Bug0 به دنبال کاهش وابستگی به چارچوب‌های سنتی assertion مانند Playwright بود که به انتخابگرهای کد خاصی وابسته هستند که اغلب منسوخ می‌شوند. آنها همچنین به یک روش مقیاس‌پذیر برای تجزیه و تحلیل نتایج آزمایش بدون مداخله دستی نیاز داشتند.

ساندیپ پاندا، یکی از بنیانگذاران و مدیر ارشد فناوری Bug0، گفت: «مشاهده‌ی کل ضبط‌های تست برای شناسایی علت اصلی خرابی، زمان‌بر بود و نگهداری انتخابگرهای پیچیده یا ادعاهای مبهم، سرعت ما را کاهش می‌داد. ما به روشی نیاز داشتیم تا با استفاده از هوش مصنوعی، هدف و نتایج تست را به طور خودکار خلاصه کنیم.»

Bug0 نرم‌افزار Gemini 2.5 Pro را به‌طور خاص به دلیل قابلیت‌های پیشرفته چندوجهی آن، به‌ویژه توانایی‌اش در تفسیر ویدیو، انتخاب کرد.

آنها Gemini 2.5 Pro را برای دو عملکرد اصلی پیاده‌سازی کردند:

• موتور ادعای هوش مصنوعی: این موتور ارزیابی می‌کند که آیا هدف آزمایشی بر اساس شواهد بصری یا ساختاری، مانند ضبط‌های ویدیویی، اسکرین‌شات‌های صفحه یا عکس‌های فوری از قابلیت دسترسی، برآورده شده است یا خیر. این موتور، مکان‌یاب‌های کد شکننده را با ادعاهای قوی و مبتنی بر هوش مصنوعی جایگزین می‌کند.
• خلاصه‌سازی شکست: یک عامل هوش مصنوعی، ویدیوهای ضبط‌شده از تست‌های شکست‌خورده را تجزیه و تحلیل می‌کند و علت اصلی (مثلاً دکمه‌ی گم‌شده یا تغییر مسیر نادرست) را خلاصه می‌کند و نیاز مهندسان به بررسی دستی فیلم را کاهش می‌دهد.

Bug0 با استفاده از Google Gen AI SDK در Node.js، Gemini 2.5 Pro را یکپارچه کرد. یکپارچه‌سازی اولیه، شامل آزمایش و تنظیم سریع، تقریباً سه روز طول کشید.

موتور تأیید هوش مصنوعی آنها، اقدامات چارچوب تست آنها را با قابلیت‌های ارزیابی Gemini 2.5 Pro ترکیب می‌کند. چارچوب مراحل تست را اجرا می‌کند و Gemini 2.5 Pro خروجی حاصل را ارزیابی می‌کند.

پاندا توضیح داد: «در موتور ادعای خود، Gemini 2.5 Pro را با Playwright ترکیب می‌کنیم. Playwright مراحلی را انجام می‌دهد. Gemini 2.5 Pro خروجی بصری را ارزیابی می‌کند و تأیید می‌کند که آیا نتیجه مورد انتظار برآورده شده است یا خیر. این به ما امکان می‌دهد از نوشتن مکان‌یاب‌های شکننده یا انتظارات کدنویسی شده صرف نظر کنیم و به ادعاهای زبان طبیعی ارائه شده توسط Gemini 2.5 Pro تکیه کنیم.»

برای خلاصه‌های خرابی، Bug0 از یک قالب اعلان تخصصی استفاده می‌کند که شامل ضبط ویدیو، گزارش‌های خرابی و رفتارهای مورد انتظار است. Gemini 2.5 Pro این ورودی را پردازش می‌کند تا خلاصه‌های قابل خواندن برای انسان را تولید کند که توضیح می‌دهد چرا آزمایش ناموفق بوده است. دقت Gemini 2.5 Pro برای این وظایف مهم QA ضروری بود.

ادغام Gemini 2.5 Pro به طور قابل توجهی گردش‌های اشکال‌زدایی Bug0 و قابلیت اطمینان کلی پلتفرم آنها را بهبود بخشید. Bug0 با جایگزینی اشکال‌زدایی دستی و نوشتن ادعا با گردش‌های کاری مبتنی بر هوش مصنوعی، سرعت توسعه را برای مشتریان خود افزایش داد.

نتایج کلیدی شامل موارد زیر است:

• کاهش ۶۰ درصدی تعداد ویدیوهای مربوط به شکست آزمایش که مهندسان باید به صورت دستی تماشا کنند
• بیش از ۷۰٪ از شکست‌های تست اکنون با موفقیت به صورت خودکار خلاصه شده و توضیحات دقیق علت اصلی آنها ارائه می‌شود.
• کاهش قابل توجه در میزان عدم شفافیت assertion در مقایسه با روش‌های سنتی مبتنی بر انتخابگر