Bug0 сокращает ручную отладку тестов на 60% с Gemini 2.5 Pro

Традиционное обеспечение качества программного обеспечения (QA) часто опирается на ненадежные селекторные тесты, которые перестают работать при изменении пользовательского интерфейса. Отладка таких сбоев обычно требует от инженеров ручного просмотра журналов и записей тестирования, что отнимает много времени и замедляет разработку.

Bug0 — платформа контроля качества на базе искусственного интеллекта, автоматизирующая тестирование браузеров и мобильных приложений для команд разработчиков. Эта платформа разработана для масштабной генерации, поддержки и автоматического исправления тестов, что снижает сложности, связанные с традиционным контролем качества.

Чтобы повысить надежность тестирования и автоматизировать процесс отладки, Bug0 использует возможности мультимодального мышления Gemini 2.5 Pro для анализа записей тестирования, проверки результатов и автоматического определения первопричины сбоев.

Bug0 стремился снизить зависимость от традиционных фреймворков проверки утверждений, таких как Playwright, которые используют специфические селекторы кода, часто устаревающие. Также требовался масштабируемый способ анализа результатов тестирования без ручного вмешательства.

«Просмотр полных записей тестов для выявления первопричины сбоя занимал много времени, а поддержка сложных селекторов и ненадёжных утверждений замедляла работу», — сказал Сандип Панда, соучредитель и технический директор Bug0. «Нам нужен был способ автоматически суммировать цели и результаты тестирования с помощью ИИ».

Bug0 выбрал Gemini 2.5 Pro специально за его расширенные мультимодальные возможности, в частности за его способность интерпретировать видео.

Они реализовали Gemini 2.5 Pro для двух основных функций:

• Механизм проверки утверждений на основе ИИ: Механизм оценивает, достигнута ли цель теста, на основе визуальных или структурных данных, таких как видеозаписи, снимки экрана страниц или снимки доступности. Это заменяет ненадежные локаторы кода надежными утверждениями на основе ИИ.
• Обобщение сведений об ошибках: ИИ-агент анализирует видеозаписи неудачных тестов и обобщает основную причину (например, отсутствующую кнопку или неправильное перенаправление), что избавляет инженеров от необходимости вручную просматривать отснятый материал.

Bug0 интегрировал Gemini 2.5 Pro с помощью Google Gen AI SDK в Node.js. Первоначальная интеграция, включая оперативные эксперименты и настройку, заняла около трёх дней.

Их ИИ-движок для проверки утверждений объединяет действия тестового фреймворка с возможностями оценки Gemini 2.5 Pro. Фреймворк выполняет этапы тестирования, а Gemini 2.5 Pro оценивает полученные результаты.

«В нашем движке утверждений мы объединяем Gemini 2.5 Pro с Playwright. Playwright выполняет шаги. Gemini 2.5 Pro оценивает визуальный вывод и подтверждает, был ли достигнут ожидаемый результат», — пояснил Panda. «Это позволяет нам отказаться от написания ненадежных локаторов или жестко заданных ожиданий и полагаться на утверждения на естественном языке, созданные Gemini 2.5 Pro».

Для отчетов об ошибках Bug0 использует специализированный формат подсказок, включающий видеозапись, журналы ошибок и ожидаемое поведение. Gemini 2.5 Pro обрабатывает эти данные и генерирует понятные человеку отчеты с объяснением причины сбоя теста. Точность Gemini 2.5 Pro была критически важна для этих критически важных задач контроля качества.

Интеграция Gemini 2.5 Pro значительно улучшила процессы отладки Bug0 и общую надёжность платформы. Заменив ручную отладку и написание утверждений рабочими процессами на основе ИИ, Bug0 ускорила разработку для своих клиентов.

Основные результаты включают:

• На 60% меньше видеозаписей с ошибками испытаний, которые инженерам приходится просматривать вручную
• Более 70% неудачных тестов теперь успешно автоматически суммируются с точными объяснениями первопричин.
• Значительное снижение ненадежности утверждений по сравнению с традиционными методами, основанными на селекторах