Bug0 réduit le débogage manuel des tests de 60 % avec Gemini 2.5 Pro

L'assurance qualité (QA) des logiciels traditionnels repose souvent sur des tests fragiles basés sur des sélecteurs qui échouent lorsque les interfaces utilisateur changent. Pour déboguer ces échecs, les ingénieurs doivent généralement examiner manuellement les journaux et les enregistrements de test. Ce processus prend du temps et ralentit la vitesse de développement.

Bug0, une plate-forme d'assurance qualité basée sur l'IA, automatise les tests de navigateurs et d'applications mobiles pour les équipes d'ingénierie. Leur plate-forme est conçue pour générer, gérer et réparer automatiquement des tests à grande échelle, ce qui réduit les frictions associées à l'assurance qualité traditionnelle.

Pour améliorer la fiabilité des tests et automatiser le processus de débogage, Bug0 utilise les capacités de raisonnement multimodal de Gemini 2.5 Pro pour analyser les enregistrements de tests, valider les résultats et déterminer automatiquement la cause première des échecs.

Bug0 a cherché à réduire la dépendance aux frameworks d'assertion traditionnels, tels que Playwright, qui dépendent de sélecteurs de code spécifiques qui deviennent fréquemment obsolètes. Ils avaient également besoin d'un moyen évolutif d'analyser les résultats des tests sans intervention manuelle.

"Regarder des enregistrements de tests complets pour identifier la cause première d'un échec prenait du temps, et la maintenance de sélecteurs complexes ou d'assertions instables nous ralentissait", a déclaré Sandeep Panda, cofondateur et CTO de Bug0. "Nous avions besoin d'un moyen de résumer automatiquement l'intention et les résultats des tests à l'aide de l'IA."

Bug0 a sélectionné Gemini 2.5 Pro spécifiquement pour ses fonctionnalités multimodales avancées, en particulier sa capacité à interpréter des vidéos.

Ils ont implémenté Gemini 2.5 Pro pour deux fonctions principales :

• Moteur d'assertions d'IA : le moteur évalue si un objectif de test a été atteint en fonction de preuves visuelles ou structurelles, telles que des enregistrements vidéo, des captures d'écran de pages ou des instantanés d'accessibilité. Cela remplace les localisateurs de code fragiles par des assertions robustes basées sur l'IA.
• Synthèse des échecs : un agent d'IA analyse les enregistrements vidéo des tests ayant échoué et résume la cause première (par exemple, un bouton manquant ou une redirection incorrecte), ce qui évite aux ingénieurs d'avoir à examiner manuellement les séquences.

Bug0 a intégré Gemini 2.5 Pro à l'aide du SDK Google Gen AI dans Node.js. L'intégration initiale, y compris l'expérimentation et le réglage des invites, a pris environ trois jours.

Son moteur d'assertion d'IA combine les actions de son framework de test avec les capacités d'évaluation de Gemini 2.5 Pro. Le framework exécute les étapes du test, et Gemini 2.5 Pro évalue le résultat obtenu.

"Dans notre moteur d'assertion, nous combinons Gemini 2.5 Pro avec Playwright. Playwright effectue les étapes. Gemini 2.5 Pro évalue le résultat visuel et confirme si le résultat attendu a été atteint", a expliqué Panda. "Cela nous permet d'éviter d'écrire des localisateurs fragiles ou des attentes codées en dur, et de nous appuyer sur des assertions en langage naturel optimisées par Gemini 2.5 Pro."

Pour les récapitulatifs d'échec, Bug0 utilise un format d'invite spécialisé qui inclut l'enregistrement vidéo, les journaux d'échec et les comportements attendus. Gemini 2.5 Pro traite cette entrée pour générer des résumés lisibles par l'utilisateur expliquant pourquoi le test a échoué. La précision de Gemini 2.5 Pro était essentielle pour ces tâches critiques d'assurance qualité.

L'intégration de Gemini 2.5 Pro a considérablement amélioré les workflows de débogage de Bug0 et la fiabilité globale de sa plate-forme. En remplaçant le débogage manuel et l'écriture d'assertions par des workflows basés sur l'IA, Bug0 a accéléré la vitesse de développement pour ses clients.

Voici les principaux résultats :

• 60 % de réduction du nombre de vidéos d'échecs de tests que les ingénieurs doivent regarder manuellement
• Plus de 70 % des échecs de tests sont désormais résumés automatiquement avec des explications précises sur les causes profondes.
• Une baisse significative de l'instabilité des assertions par rapport aux méthodes traditionnelles basées sur les sélecteurs

"Gemini 2.5 Pro nous a permis d'accélérer notre vitesse", a déclaré Panda. "Cela a amélioré l'expérience de notre produit principal en transformant l'examen des tests, qui était un goulot d'étranglement, en une boucle de rétroaction rapide."

Bug0 développe actuellement une fonctionnalité de création de tests d'IA. Les utilisateurs pourront envoyer une vidéo d'un parcours utilisateur, et Bug0 utilisera Gemini 2.5 Pro pour l'analyser et générer automatiquement le script de test et les assertions correspondants.

Pour commencer à créer vos propres applications, explorez les fonctionnalités multimodales des modèles Gemini dans notre documentation sur l'API.