Bug0 riduce il debug manuale dei test del 60% con Gemini 2.5 Pro

Il tradizionale controllo qualità (QA) del software si basa spesso su test fragili basati su selettori che si interrompono quando le interfacce utente cambiano. Il debug di questi errori in genere richiede agli ingegneri di esaminare manualmente i log e le registrazioni dei test, un processo che richiede molto tempo e rallenta la velocità di sviluppo.

Bug0, una piattaforma di controllo qualità basata sull'AI, automatizza i test su browser e dispositivi mobili per i team di ingegneria. La sua piattaforma è progettata per generare, mantenere e riparare automaticamente i test su larga scala, riducendo l'attrito associato al controllo qualità tradizionale.

Per migliorare l'affidabilità dei test e automatizzare il processo di debug, Bug0 utilizza le funzionalità di ragionamento multimodale di Gemini 2.5 Pro per analizzare le registrazioni dei test, convalidare i risultati e determinare automaticamente la causa principale degli errori.

Bug0 mirava a ridurre la dipendenza dai framework di asserzione tradizionali, come Playwright, che dipendono da selettori di codice specifici che diventano spesso obsoleti. Avevano anche bisogno di un modo scalabile per analizzare i risultati dei test senza intervento manuale.

"Guardare le registrazioni complete dei test per identificare la causa principale di un errore richiedeva molto tempo e la manutenzione di selettori complessi o asserzioni instabili ci rallentava", ha dichiarato Sandeep Panda, co-fondatore e CTO di Bug0. "Avevamo bisogno di un modo per riassumere automaticamente l'intento e i risultati dei test utilizzando l'AI."

Bug0 ha scelto Gemini 2.5 Pro in particolare per le sue funzionalità multimodali avanzate, in particolare la sua capacità di interpretare i video.

Hanno implementato Gemini 2.5 Pro per due funzioni principali:

• Motore di asserzioni AI:il motore valuta se un obiettivo del test è stato raggiunto in base a prove visive o strutturali, come registrazioni video, screenshot della pagina o istantanee di accessibilità. In questo modo, i fragili localizzatori di codice vengono sostituiti con asserzioni robuste basate sull'AI.
• Riepilogo degli errori:un agente AI analizza le registrazioni video dei test non riusciti e riassume la causa principale (ad es. un pulsante mancante o un reindirizzamento errato), riducendo la necessità per gli ingegneri di rivedere manualmente i filmati.

Bug0 ha integrato Gemini 2.5 Pro utilizzando l'SDK Google Gen AI in Node.js. L'integrazione iniziale, inclusi l'esperimento e l'ottimizzazione dei prompt, ha richiesto circa tre giorni.

Il motore di asserzioni AI combina le azioni del framework di test con le funzionalità di valutazione di Gemini 2.5 Pro. Il framework esegue i passaggi del test e Gemini 2.5 Pro valuta l'output risultante.

"Nel nostro motore di asserzioni, combiniamo Gemini 2.5 Pro con Playwright. Playwright esegue i passaggi. Gemini 2.5 Pro valuta l'output visivo e conferma se il risultato previsto è stato raggiunto", ha spiegato Panda. "In questo modo possiamo evitare di scrivere localizzatori fragili o aspettative hardcoded e affidarci ad asserzioni in linguaggio naturale basate su Gemini 2.5 Pro".

Per i riepiloghi degli errori, Bug0 utilizza un formato di prompt specializzato che include la registrazione video, i log degli errori e i comportamenti previsti. Gemini 2.5 Pro elabora questo input per generare riepiloghi leggibili che spiegano perché il test non è riuscito. L'accuratezza di Gemini 2.5 Pro è stata essenziale per queste attività di controllo qualità critiche.

L'integrazione di Gemini 2.5 Pro ha migliorato notevolmente i flussi di lavoro di debug di Bug0 e l'affidabilità complessiva della sua piattaforma. Sostituendo il debug manuale e la scrittura di asserzioni con workflow basati sull'AI, Bug0 ha accelerato la velocità di sviluppo per i suoi clienti.

I risultati principali includono:

• Riduzione del 60% del numero di video di test non riusciti che gli ingegneri devono guardare manualmente
• Oltre il 70% degli errori di test ora viene riepilogato automaticamente con spiegazioni accurate delle cause principali
• Una riduzione significativa dell'instabilità delle asserzioni rispetto ai metodi tradizionali basati sui selettori

"Gemini 2.5 Pro ha accelerato la nostra velocità", ha affermato Panda. "Ha migliorato la nostra esperienza di prodotto principale trasformando la revisione dei test da un collo di bottiglia in un ciclo di feedback rapido".

Bug0 sta sviluppando una funzionalità di creazione di test AI. Gli utenti potranno inviare un video di un flusso utente e Bug0 utilizzerà Gemini 2.5 Pro per analizzare il video e generare automaticamente lo script di test e le asserzioni corrispondenti.

Per iniziare a creare le tue applicazioni, esplora le funzionalità multimodali dei modelli Gemini nella nostra documentazione dell'API.