O Bug0 reduz a depuração manual de testes em 60% com o Gemini 2.5 Pro

O controle de qualidade (CQ) de software tradicional geralmente depende de testes frágeis baseados em seletores que falham quando as interfaces do usuário mudam. A depuração dessas falhas geralmente exige que os engenheiros analisem manualmente os registros e gravações de teste, um processo demorado que diminui a velocidade de desenvolvimento.

O Bug0, uma plataforma de controle de qualidade com tecnologia de IA, automatiza testes de navegadores e dispositivos móveis para equipes de engenharia. A plataforma deles foi projetada para gerar, manter e corrigir automaticamente testes em escala, reduzindo o atrito associado ao controle de qualidade tradicional.

Para melhorar a confiabilidade dos testes e automatizar o processo de depuração, o Bug0 usa os recursos de raciocínio multimodal do Gemini 2.5 Pro para analisar gravações de testes, validar resultados e determinar automaticamente a causa raiz das falhas.

O Bug0 buscou reduzir a dependência de frameworks de asserção tradicionais, como o Playwright, que dependem de seletores de código específicos que frequentemente ficam desatualizados. Além disso, eles precisavam de uma maneira escalonável de analisar os resultados dos testes sem intervenção manual.

"Assistir gravações de testes completos para identificar a causa raiz de uma falha era demorado, e manter seletores complexos ou asserções instáveis nos atrasava", disse Sandeep Panda, cofundador e CTO da Bug0. "Precisávamos de uma maneira de resumir automaticamente a intenção e os resultados dos testes usando IA."

O Bug0 selecionou o Gemini 2.5 Pro especificamente pelos recursos multimodais avançados, principalmente a capacidade de interpretar vídeos.

Eles implementaram o Gemini 2.5 Pro para duas funções principais:

• Mecanismo de declaração de IA:avalia se um objetivo de teste foi atendido com base em evidências visuais ou estruturais, como gravações de vídeo, capturas de tela da página ou instantâneos de acessibilidade. Isso substitui localizadores de código frágeis por declarações robustas com tecnologia de IA.
• Resumo de falhas:um agente de IA analisa gravações de vídeo de testes com falha e resume a causa raiz (por exemplo, um botão ausente ou um redirecionamento incorreto), reduzindo a necessidade de os engenheiros revisarem as imagens manualmente.

A Bug0 integrou o Gemini 2.5 Pro usando o SDK da IA generativa do Google em Node.js. A integração inicial, incluindo o ajuste e a experimentação de comandos, levou aproximadamente três dias.

O mecanismo de declaração de IA deles combina as ações do framework de teste com os recursos de avaliação do Gemini 2.5 Pro. A estrutura executa as etapas do teste, e o Gemini 2.5 Pro avalia o resultado.

"No nosso mecanismo de declaração, combinamos o Gemini 2.5 Pro com o Playwright. O Playwright executa etapas. O Gemini 2.5 Pro avalia a saída visual e confirma se o resultado esperado foi alcançado", explicou Panda. "Isso permite que evitemos escrever localizadores frágeis ou expectativas codificadas e usemos declarações em linguagem natural com tecnologia do Gemini 2.5 Pro."

Para resumos de falhas, o Bug0 usa um formato de comando especializado que inclui a gravação de vídeo, os registros de falhas e os comportamentos esperados. O Gemini 2.5 Pro processa essa entrada para gerar resumos legíveis que explicam por que o teste falhou. A precisão do Gemini 2.5 Pro foi essencial para essas tarefas críticas de controle de qualidade.

A integração do Gemini 2.5 Pro melhorou significativamente os fluxos de trabalho de depuração do Bug0 e a confiabilidade geral da plataforma. Ao substituir a depuração manual e a escrita de asserções por fluxos de trabalho orientados por IA, a Bug0 acelerou a velocidade de desenvolvimento para os clientes.

Os principais resultados incluem:

• Redução de 60% no número de vídeos de falhas de teste que os engenheiros precisam assistir manualmente
• Mais de 70% das falhas de teste agora são resumidas automaticamente com explicações precisas da causa raiz
• Uma queda significativa na instabilidade de asserção em comparação com os métodos tradicionais baseados em seletores

"O Gemini 2.5 Pro acelerou nossa velocidade", disse Panda. "Ele elevou nossa experiência principal com o produto, transformando a revisão de testes de um gargalo em um ciclo de feedback rápido."

O Bug0 está desenvolvendo um recurso de criação de testes de IA. Os usuários poderão enviar um vídeo de um fluxo de usuário, e o Bug0 vai usar o Gemini 2.5 Pro para analisar o vídeo e gerar automaticamente o script de teste e as declarações correspondentes.

Para começar a criar seus próprios aplicativos, confira os recursos multimodais dos modelos do Gemini na nossa documentação da API.