Bug0 skraca czas debugowania testów ręcznych o 60% dzięki Gemini 2.5 Pro

Tradycyjna kontrola jakości oprogramowania często opiera się na testach opartych na selektorach, które są podatne na błędy i przestają działać, gdy zmienia się interfejs użytkownika. Usuwanie błędów zwykle wymaga od inżynierów ręcznego przeglądania dzienników testów i nagranych sesji, co jest czasochłonne i spowalnia proces rozwoju.

Bug0 to platforma do kontroli jakości oparta na AI, która automatyzuje testowanie w przeglądarkach i na urządzeniach mobilnych dla zespołów inżynieryjnych. Ich platforma została zaprojektowana do generowania, utrzymywania i automatycznego naprawiania testów na dużą skalę, co zmniejsza trudności związane z tradycyjną kontrolą jakości.

Aby zwiększyć niezawodność testów i zautomatyzować proces debugowania, Bug0 korzysta z wielomodalnych funkcji rozumowania modelu Gemini 2.5 Pro do analizowania nagrań testów, weryfikowania wyników i automatycznego określania głównej przyczyny błędów.

Bug0 dąży do zmniejszenia zależności od tradycyjnych platform asercji, takich jak Playwright, które opierają się na konkretnych selektorach kodu, które często stają się nieaktualne. Potrzebowali też skalowalnego sposobu analizowania wyników testów bez ręcznej interwencji.

„Oglądanie pełnych nagrań testów w celu zidentyfikowania głównej przyczyny błędu było czasochłonne, a utrzymywanie złożonych selektorów lub niestabilnych asercji spowalniało naszą pracę” – powiedział Sandeep Panda, współzałożyciel i dyrektor ds. technicznych w firmie Bug0. „Potrzebowaliśmy sposobu na automatyczne podsumowywanie intencji i wyników testów za pomocą AI”.

Firma Bug0 wybrała Gemini 2.5 Pro ze względu na zaawansowane możliwości multimodalne, a zwłaszcza zdolność do interpretowania filmów.

Wdrożyli Gemini 2.5 Pro w przypadku 2 głównych funkcji:

• Silnik asercji AI: silnik ocenia, czy cel testu został osiągnięty na podstawie dowodów wizualnych lub strukturalnych, takich jak nagrania wideo, zrzuty ekranu strony lub zrzuty stanu dostępności. Zastępuje to podatne na uszkodzenia lokalizatory kodu solidnymi asercjami opartymi na AI.
• Podsumowanie niepowodzeń: agent AI analizuje nagrania wideo z nieudanych testów i podsumowuje główną przyczynę (np. brak przycisku lub nieprawidłowe przekierowanie), dzięki czemu inżynierowie nie muszą ręcznie przeglądać nagrań.

Firma Bug0 zintegrowała Gemini 2.5 Pro za pomocą pakietu Google Gen AI SDK w Node.js. Początkowa integracja, w tym eksperymentowanie z promptami i dostrajanie, zajęła około 3 dni.

Silnik asercji AI łączy działania platformy testowej z możliwościami oceny modelu Gemini 2.5 Pro. Schemat wykonuje kroki testu, a Gemini 2.5 Pro ocenia wynikową odpowiedź.

„W naszym silniku asercji łączymy Gemini 2.5 Pro z Playwright. Playwright wykonuje kroki. Gemini 2.5 Pro ocenia dane wyjściowe i sprawdza, czy osiągnięto oczekiwany rezultat – wyjaśnia Panda. „Dzięki temu możemy pominąć pisanie niestabilnych lokalizatorów lub zakodowanych na stałe oczekiwań i polegać na asercjach w języku naturalnym opartych na Gemini 2.5 Pro”.

W przypadku podsumowań błędów Bug0 używa specjalnego formatu prompta, który zawiera nagranie wideo, dzienniki błędów i oczekiwane zachowania. Gemini 2.5 Pro przetwarza te dane wejściowe, aby generować czytelne podsumowania wyjaśniające, dlaczego test się nie powiódł. Dokładność Gemini 2.5 Pro była kluczowa w przypadku tych ważnych zadań związanych z kontrolą jakości.

Integracja Gemini 2.5 Pro znacznie usprawniła przepływy pracy związane z debugowaniem w Bug0 i zwiększyła ogólną niezawodność platformy. Zastępując ręczne debugowanie i pisanie asercji przepływami pracy opartymi na AI, Bug0 przyspieszył tempo rozwoju swoich klientów.

Kluczowe wyniki:

• O 60% mniej filmów z nieudanymi testami, które inżynierowie muszą obejrzeć ręcznie.
• Ponad 70% nieudanych testów jest teraz automatycznie podsumowywanych z dokładnymi wyjaśnieniami przyczyn źródłowych.
• Znaczne zmniejszenie niestabilności asercji w porównaniu z tradycyjnymi metodami opartymi na selektorach.

„Gemini 2.5 Pro przyspieszył nasze działania” – powiedział Panda. „Ulepszyliśmy podstawową funkcjonalność usługi, przekształcając sprawdzanie testów z wąskiego gardła w szybką pętlę informacji zwrotnych”.

Firma Bug0 pracuje obecnie nad funkcją tworzenia testów AI. Użytkownicy będą mogli przesyłać film przedstawiający przepływ użytkownika, a Bug0 będzie używać Gemini 2.5 Pro do analizowania filmu i automatycznego generowania odpowiedniego skryptu testowego i asercji.

Aby zacząć tworzyć własne aplikacje, zapoznaj się z możliwościami multimodalnymi modeli Gemini w naszej dokumentacji interfejsu API.