Bug0 mengurangi penelusuran bug pengujian manual sebesar 60% dengan Gemini 2.5 Pro

Penjaminan kualitas (QA) software tradisional sering kali mengandalkan pengujian berbasis selektor yang rapuh dan rusak saat antarmuka pengguna berubah. Proses men-debug kegagalan ini biasanya mengharuskan engineer meninjau log dan rekaman pengujian secara manual, yang merupakan proses yang memakan waktu dan memperlambat kecepatan pengembangan.

Bug0, platform QA yang didukung AI, mengotomatiskan pengujian browser dan seluler untuk tim engineering. Platform mereka dirancang untuk membuat, memelihara, dan memperbaiki sendiri pengujian dalam skala besar, sehingga mengurangi hambatan yang terkait dengan QA tradisional.

Untuk meningkatkan keandalan pengujian dan mengotomatiskan proses pen-debug-an, Bug0 menggunakan kemampuan penalaran multimodal Gemini 2.5 Pro untuk menganalisis rekaman pengujian, memvalidasi hasil, dan secara otomatis menentukan penyebab utama kegagalan.

Bug0 berupaya mengurangi ketergantungan pada framework pernyataan tradisional, seperti Playwright, yang bergantung pada pemilih kode tertentu yang sering kali menjadi tidak berlaku. Mereka juga memerlukan cara yang skalabel untuk menganalisis hasil pengujian tanpa intervensi manual.

"Menonton rekaman pengujian lengkap untuk mengidentifikasi penyebab utama kegagalan memakan waktu, dan mempertahankan pemilih yang kompleks atau pernyataan yang tidak stabil memperlambat kami," kata Sandeep Panda, Co-founder dan CTO Bug0. "Kami memerlukan cara untuk meringkas maksud dan hasil pengujian secara otomatis menggunakan AI."

Bug0 memilih Gemini 2.5 Pro secara khusus karena kemampuan multimodalnya yang canggih, terutama kemampuannya dalam menafsirkan video.

Mereka mengimplementasikan Gemini 2.5 Pro untuk dua fungsi utama:

• Mesin pernyataan AI: Mesin ini mengevaluasi apakah tujuan pengujian tercapai berdasarkan bukti visual atau struktural, seperti rekaman video, screenshot halaman, atau snapshot aksesibilitas. Hal ini menggantikan penentu lokasi kode yang rentan dengan pernyataan yang andal dan didukung AI.
• Ringkasan kegagalan: Agen AI menganalisis rekaman video pengujian yang gagal dan meringkas penyebab utamanya (misalnya, tombol yang tidak ada atau pengalihan yang salah), sehingga mengurangi kebutuhan engineer untuk meninjau rekaman secara manual.

Bug0 mengintegrasikan Gemini 2.5 Pro menggunakan Google Gen AI SDK di Node.js. Integrasi awal, termasuk eksperimen dan penyesuaian perintah, memerlukan waktu sekitar tiga hari.

Mesin pernyataan AI mereka menggabungkan tindakan framework pengujian dengan kemampuan evaluasi Gemini 2.5 Pro. Framework menjalankan langkah-langkah pengujian, dan Gemini 2.5 Pro mengevaluasi output yang dihasilkan.

"Di mesin pernyataan kami, kami menggabungkan Gemini 2.5 Pro dengan Playwright. Playwright melakukan langkah-langkah. Gemini 2.5 Pro mengevaluasi output visual dan mengonfirmasi apakah hasil yang diharapkan tercapai," jelas Panda. "Hal ini memungkinkan kita melewati penulisan locator yang rentan atau ekspektasi yang dikodekan secara permanen dan mengandalkan pernyataan bahasa alami yang didukung oleh Gemini 2.5 Pro."

Untuk ringkasan kegagalan, Bug0 menggunakan format perintah khusus yang mencakup rekaman video, log kegagalan, dan perilaku yang diharapkan. Gemini 2.5 Pro memproses input ini untuk membuat ringkasan yang mudah dibaca yang menjelaskan alasan pengujian gagal. Akurasi Gemini 2.5 Pro sangat penting untuk tugas QA penting ini.

Integrasi Gemini 2.5 Pro secara signifikan meningkatkan alur kerja proses penelusuran bug Bug0 dan keandalan platform mereka secara keseluruhan. Dengan mengganti penulisan pernyataan dan proses debug manual dengan alur kerja yang didukung AI, Bug0 mempercepat kecepatan pengembangan bagi pelanggannya.

Hasil utama meliputi:

• Pengurangan 60% jumlah video kegagalan pengujian yang perlu ditonton secara manual oleh engineer
• Lebih dari 70% kegagalan pengujian kini berhasil diringkas secara otomatis dengan penjelasan akar masalah yang akurat
• Penurunan signifikan pada ketidakstabilan pernyataan dibandingkan dengan metode berbasis pemilih tradisional

"Gemini 2.5 Pro mempercepat kecepatan kami," kata Panda. "Fitur ini meningkatkan pengalaman produk inti kami dengan mengubah peninjauan tes dari hambatan menjadi loop umpan balik yang cepat."

Bug0 kini mengembangkan fitur penulisan pengujian AI. Pengguna akan dapat mengirimkan video alur pengguna, dan Bug0 akan menggunakan Gemini 2.5 Pro untuk menganalisis video tersebut serta membuat skrip pengujian dan pernyataan yang sesuai secara otomatis.

Untuk mulai membuat aplikasi Anda sendiri, pelajari kemampuan multimodal model Gemini dalam dokumentasi API kami.