Bug0 reduziert das manuelle Debugging von Tests mit Gemini 2.5 Pro um 60 %

Die herkömmliche Software-Qualitätssicherung (QS) basiert oft auf anfälligen, selektorbezogenen Tests, die fehlschlagen, wenn sich die Benutzeroberflächen ändern. Um diese Fehler zu beheben, müssen Entwickler in der Regel Testprotokolle und Aufzeichnungen manuell überprüfen. Das ist ein zeitaufwendiger Prozess, der die Entwicklungsgeschwindigkeit verlangsamt.

Bug0 ist eine KI-basierte QA-Plattform, die Browser- und Mobilgerätetests für Entwicklerteams automatisiert. Ihre Plattform ist darauf ausgelegt, Tests in großem Umfang zu generieren, zu verwalten und automatisch zu reparieren, wodurch die Reibung, die mit der traditionellen Qualitätssicherung verbunden ist, reduziert wird.

Um die Zuverlässigkeit von Tests zu verbessern und den Debugging-Prozess zu automatisieren, nutzt Bug0 die multimodalen Reasoning-Funktionen von Gemini 2.5 Pro, um Testaufzeichnungen zu analysieren, Ergebnisse zu validieren und die Ursache von Fehlern automatisch zu ermitteln.

Ziel von Bug0 war es, die Abhängigkeit von herkömmlichen Assertion-Frameworks wie Playwright zu verringern, die auf bestimmten Code-Selektoren basieren, die häufig veraltet sind. Außerdem benötigten sie eine skalierbare Methode, um Testergebnisse ohne manuellen Eingriff zu analysieren.

„Das Ansehen vollständiger Testaufzeichnungen, um die Ursache eines Fehlers zu ermitteln, war zeitaufwendig. Die Wartung komplexer Selektoren oder unzuverlässiger Zusicherungen hat uns ausgebremst“, so Sandeep Panda, Mitbegründer und CTO von Bug0. „Wir brauchten eine Möglichkeit, Testabsicht und ‑ergebnisse automatisch mithilfe von KI zusammenzufassen.“

Bug0 hat Gemini 2.5 Pro speziell aufgrund seiner fortschrittlichen multimodalen Funktionen ausgewählt, insbesondere seiner Fähigkeit, Videos zu interpretieren.

Gemini 2.5 Pro wurde für zwei Hauptfunktionen implementiert:

• KI-Assertionsmodul:Das Modul bewertet, ob ein Testziel anhand visueller oder struktureller Beweise erreicht wurde, z. B. Videomitschnitte, Seitenscreenshots oder Barrierefreiheitssnapshots. Dadurch werden anfällige Code-Locators durch robuste, KI-basierte Assertions ersetzt.
• Zusammenfassung von Fehlern:Ein KI‑Agent analysiert Videoaufzeichnungen von fehlgeschlagenen Tests und fasst die Ursache zusammen (z. B. eine fehlende Schaltfläche oder eine falsche Weiterleitung). So müssen sich die Entwickler die Aufnahmen nicht manuell ansehen.

Bug0 hat Gemini 2.5 Pro mit dem Google Gen AI SDK in Node.js integriert. Die erste Integration, einschließlich der Tests und der Optimierung von Prompts, dauerte etwa drei Tage.

Die KI-Assertions-Engine kombiniert die Aktionen des Testframeworks mit den Bewertungsfunktionen von Gemini 2.5 Pro. Das Framework führt die Testschritte aus und Gemini 2.5 Pro bewertet die resultierende Ausgabe.

„In unserer Assertion-Engine kombinieren wir Gemini 2.5 Pro mit Playwright. Playwright führt Schritte aus. „Gemini 2.5 Pro bewertet die visuelle Ausgabe und bestätigt, ob das erwartete Ergebnis erreicht wurde“, erklärt Panda. „So können wir auf das Schreiben fragiler Locators oder hartcodierter Erwartungen verzichten und uns auf Assertions in natürlicher Sprache verlassen, die auf Gemini 2.5 Pro basieren.“

Für Fehlerzusammenfassungen verwendet Bug0 ein spezielles Prompt-Format, das die Videoaufzeichnung, Fehlerlogs und das erwartete Verhalten enthält. Gemini 2.5 Pro verarbeitet diese Eingabe, um für Menschen lesbare Zusammenfassungen zu erstellen, in denen erklärt wird, warum der Test fehlgeschlagen ist. Die Genauigkeit von Gemini 2.5 Pro war für diese wichtigen QA-Aufgaben unerlässlich.

Die Integration von Gemini 2.5 Pro hat die Debugging-Workflows von Bug0 und die allgemeine Zuverlässigkeit der Plattform deutlich verbessert. Durch den Ersatz von manuellem Debugging und dem Schreiben von Zusicherungen durch KI-gestützte Workflows konnte Bug0 die Entwicklungsgeschwindigkeit für seine Kunden beschleunigen.

Wichtige Ergebnisse:

• 60% weniger Videos mit Testfehlern, die von Technikern manuell angesehen werden müssen
• Über 70% der Testfehler werden jetzt automatisch zusammengefasst und mit genauen Erklärungen der Ursachen versehen.
• Deutliche Reduzierung der Instabilität von Assertions im Vergleich zu herkömmlichen selektorbasierenden Methoden

„Gemini 2.5 Pro hat uns beschleunigt“, so Panda. „Es hat unser Kernprodukt verbessert, indem es die Testüberprüfung von einem Engpass in einen schnellen Feedback-Loop verwandelt hat.“

Bug0 entwickelt derzeit eine Funktion zum Erstellen von KI-Tests. Nutzer können ein Video eines Nutzerablaufs einreichen. Bug0 analysiert das Video dann mit Gemini 2.5 Pro und generiert automatisch das entsprechende Testskript und die zugehörigen Behauptungen.

Wenn Sie mit der Entwicklung eigener Anwendungen beginnen möchten, können Sie sich in unserer API-Dokumentation über die multimodalen Funktionen von Gemini-Modellen informieren.