Bug0 reduce la depuración de pruebas manuales en un 60% con Gemini 2.5 Pro

La garantía de calidad (QA) tradicional del software suele depender de pruebas frágiles basadas en selectores que fallan cuando cambian las interfaces de usuario. Por lo general, la depuración de estas fallas requiere que los ingenieros revisen manualmente los registros y las grabaciones de las pruebas, un proceso que lleva mucho tiempo y ralentiza la velocidad de desarrollo.

Bug0, una plataforma de QA potenciada por IA, automatiza las pruebas en navegadores y dispositivos móviles para los equipos de ingeniería. Su plataforma está diseñada para generar, mantener y reparar automáticamente pruebas a gran escala, lo que reduce la fricción asociada con el control de calidad tradicional.

Para mejorar la confiabilidad de las pruebas y automatizar el proceso de depuración, Bug0 usa las capacidades de razonamiento multimodal de Gemini 2.5 Pro para analizar las grabaciones de las pruebas, validar los resultados y determinar automáticamente la causa raíz de las fallas.

Bug0 buscó reducir la dependencia de los frameworks de aserción tradicionales, como Playwright, que dependen de selectores de código específicos que con frecuencia se vuelven obsoletos. También necesitaban una forma escalable de analizar los resultados de las pruebas sin intervención manual.

"Mirar grabaciones de pruebas completas para identificar la causa raíz de una falla llevaba mucho tiempo, y mantener selectores complejos o aserciones poco confiables nos ralentizaba", dijo Sandeep Panda, cofundador y CTO de Bug0. "Necesitábamos una forma de resumir la intención y los resultados de las pruebas automáticamente con IA".

Bug0 seleccionó Gemini 2.5 Pro específicamente por sus capacidades multimodales avanzadas, en particular, su capacidad para interpretar videos.

Implementaron Gemini 2.5 Pro para dos funciones principales:

• Motor de aserciones de IA: El motor evalúa si se cumplió un objetivo de prueba en función de evidencia visual o estructural, como grabaciones de video, capturas de pantalla de la página o instantáneas de accesibilidad. Esto reemplaza los localizadores de código frágiles por aserciones robustas potenciadas por IA.
• Resumen de fallas: Un agente de IA analiza las grabaciones de video de las pruebas fallidas y resume la causa raíz (p.ej., un botón faltante o un redireccionamiento incorrecto), lo que reduce la necesidad de que los ingenieros revisen las grabaciones de forma manual.

Bug0 integró Gemini 2.5 Pro con el SDK de IA generativa de Google en Node.js. La integración inicial, que incluyó la experimentación y el ajuste de instrucciones, tardó aproximadamente tres días.

Su motor de aserción de IA combina las acciones de su framework de pruebas con las capacidades de evaluación de Gemini 2.5 Pro. El framework ejecuta los pasos de la prueba y Gemini 2.5 Pro evalúa el resultado.

"En nuestro motor de aserciones, combinamos Gemini 2.5 Pro con Playwright. Playwright realiza los pasos. Gemini 2.5 Pro evalúa el resultado visual y confirma si se cumplió el resultado esperado", explicó Panda. "Esto nos permite evitar escribir localizadores frágiles o expectativas codificadas, y confiar en las aserciones en lenguaje natural potenciadas por Gemini 2.5 Pro".

Para los resúmenes de fallas, Bug0 usa un formato de instrucción especializado que incluye la grabación de video, los registros de fallas y los comportamientos esperados. Gemini 2.5 Pro procesa esta entrada para generar resúmenes legibles que explican por qué falló la prueba. La precisión de Gemini 2.5 Pro fue fundamental para estas tareas de QA críticas.

La integración de Gemini 2.5 Pro mejoró significativamente los flujos de trabajo de depuración de Bug0 y la confiabilidad general de su plataforma. Al reemplazar la depuración manual y la escritura de aserciones por flujos de trabajo basados en IA, Bug0 aceleró la velocidad de desarrollo para sus clientes.

Entre los resultados clave, se incluyen los siguientes:

• Reducción del 60% en la cantidad de videos de fallas en las pruebas que los ingenieros deben mirar manualmente
• Ahora, más del 70% de las fallas en las pruebas se resumen automáticamente con explicaciones precisas de la causa raíz.
• Una reducción significativa en la inestabilidad de las aserciones en comparación con los métodos tradicionales basados en selectores

"Gemini 2.5 Pro aceleró nuestra velocidad", dijo Panda. "Mejoró la experiencia de nuestro producto principal, ya que convirtió la revisión de pruebas de un cuello de botella en un circuito de retroalimentación rápida".

Bug0 ahora está desarrollando una función de creación de pruebas con IA. Los usuarios podrán enviar un video de un flujo de usuarios, y Bug0 usará Gemini 2.5 Pro para analizar el video y generar automáticamente el lenguaje de prueba y las aserciones correspondientes.

Para comenzar a crear tus propias aplicaciones, explora las capacidades multimodales de los modelos de Gemini en nuestra documentación de la API.