Bug0 сокращает объем ручной отладки тестов на 60% при использовании Gemini 2.5 Pro.

Традиционные методы обеспечения качества программного обеспечения (QA) часто опираются на ненадежные тесты, основанные на селекторах, которые дают сбои при изменении пользовательского интерфейса. Отладка этих сбоев обычно требует от инженеров ручного просмотра журналов и записей тестирования, что является трудоемким процессом, замедляющим темпы разработки.

Bug0 — платформа для обеспечения качества на основе искусственного интеллекта, которая автоматизирует тестирование браузеров и мобильных приложений для инженерных команд. Платформа предназначена для генерации, поддержки и автоматического восстановления тестов в масштабе, что снижает сложности, связанные с традиционным контролем качества.

Для повышения надежности тестирования и автоматизации процесса отладки Bug0 использует возможности многомодального анализа данных Gemini 2.5 Pro для анализа тестовых записей, проверки результатов и автоматического определения первопричины сбоев.

Компания Bug0 стремилась уменьшить зависимость от традиционных фреймворков для проверки утверждений, таких как Playwright, которые зависят от специфических селекторов кода, часто устаревающих. Им также был необходим масштабируемый способ анализа результатов тестирования без ручного вмешательства.

«Просмотр полных записей тестов для выявления первопричины сбоя занимал много времени, а поддержка сложных селекторов или нестабильных утверждений замедляла нашу работу», — сказал Сандип Панда, соучредитель и технический директор Bug0. «Нам нужен был способ автоматически обобщать намерения и результаты тестирования с помощью ИИ».

Компания Bug0 выбрала Gemini 2.5 Pro именно за его расширенные возможности работы с мультимодальными данными, в частности, за способность интерпретировать видео.

Они внедрили Gemini 2.5 Pro для выполнения двух основных функций:

• Механизм проверки на основе ИИ: этот механизм оценивает, была ли достигнута цель теста, на основе визуальных или структурных доказательств, таких как видеозаписи, скриншоты страниц или снимки доступности. Это заменяет ненадежные локаторы кода надежными проверками на основе ИИ.
• Сводная информация о сбоях: агент на основе искусственного интеллекта анализирует видеозаписи неудачных тестов и суммирует первопричину (например, отсутствие кнопки или некорректное перенаправление), что снижает необходимость ручного просмотра видеоматериалов инженерами.

Компания Bug0 интегрировала Gemini 2.5 Pro, используя SDK Google Gen AI в Node.js. Первоначальная интеграция, включая оперативное тестирование и настройку, заняла приблизительно три дня.

Их механизм проверки утверждений на основе ИИ объединяет действия их тестовой среды с возможностями оценки Gemini 2.5 Pro. Среда выполняет этапы тестирования, а Gemini 2.5 Pro оценивает полученные результаты.

«В нашем механизме проверки утверждений мы объединяем Gemini 2.5 Pro с Playwright. Playwright выполняет шаги. Gemini 2.5 Pro оценивает визуальный результат и подтверждает, был ли достигнут ожидаемый результат», — пояснил Панда. «Это позволяет нам отказаться от написания ненадежных локаторов или жестко закодированных ожиданий и полагаться на утверждения на естественном языке, основанные на Gemini 2.5 Pro».

Для составления сводок о сбоях Bug0 использует специализированный формат подсказок, включающий видеозапись, журналы ошибок и ожидаемое поведение. Gemini 2.5 Pro обрабатывает эти данные для генерации удобочитаемых сводок, объясняющих причины сбоя теста. Точность Gemini 2.5 Pro была крайне важна для этих критически важных задач контроля качества.

Интеграция Gemini 2.5 Pro значительно улучшила рабочие процессы отладки в Bug0 и общую надежность их платформы. Заменив ручную отладку и написание утверждений рабочими процессами, управляемыми ИИ, Bug0 ускорила разработку для своих клиентов.

Ключевые результаты включают:

• Сокращение на 60% количества видеороликов с ошибками тестирования, которые инженерам приходится просматривать вручную.
• В настоящее время более 70% сбоев в тестировании успешно автоматически суммируются с указанием точных причин их возникновения.
• Значительное снижение нестабильности утверждений по сравнению с традиционными методами, основанными на селекторах.