Bug0, Gemini 2.5 Pro로 수동 테스트 디버깅 60% 감소

기존 소프트웨어 품질 보증 (QA)은 사용자 인터페이스가 변경될 때 깨지는 취약한 선택기 기반 테스트에 의존하는 경우가 많습니다. 이러한 실패를 디버깅하려면 일반적으로 엔지니어가 테스트 로그와 녹화 파일을 수동으로 검토해야 하는데, 이는 시간이 많이 걸리는 프로세스이므로 개발 속도가 느려집니다.

AI 기반 QA 플랫폼인 Bug0는 엔지니어링 팀의 브라우저 및 모바일 테스트를 자동화합니다. 이 플랫폼은 테스트를 대규모로 생성, 유지, 자동 복구하도록 설계되어 기존 QA와 관련된 마찰을 줄여줍니다.

테스트 안정성을 개선하고 디버깅 프로세스를 자동화하기 위해 Bug0는 Gemini 2.5 Pro의 멀티모달 추론 기능을 사용하여 테스트 녹화 파일을 분석하고, 결과를 검증하고, 실패의 근본 원인을 자동으로 파악합니다.

Bug0는 자주 오래되는 특정 코드 선택자에 의존하는 Playwright와 같은 기존 어설션 프레임워크에 대한 의존도를 줄이려고 했습니다. 또한 수동 개입 없이 테스트 결과를 분석할 수 있는 확장 가능한 방법도 필요했습니다.

Bug0의 공동 창업자이자 CTO인 Sandeep Panda는 "실패의 근본 원인을 파악하기 위해 전체 테스트 녹화 영상을 시청하는 데 시간이 많이 걸렸고, 복잡한 선택기나 불안정한 어설션을 유지하는 데도 속도가 느려졌습니다."라고 말했습니다. 'AI를 사용하여 테스트 의도와 결과를 자동으로 요약하는 방법이 필요했습니다.'

Bug0는 고급 멀티모달 기능, 특히 동영상을 해석하는 기능 때문에 Gemini 2.5 Pro를 선택했습니다.

이들은 두 가지 기본 기능을 위해 Gemini 2.5 Pro를 구현했습니다.

• AI 어설션 엔진: 엔진은 동영상 녹화, 페이지 스크린샷, 접근성 스냅샷과 같은 시각적 또는 구조적 증거를 기반으로 테스트 목표가 충족되었는지 평가합니다. 이렇게 하면 취약한 코드 위치 지정자가 강력한 AI 기반 어설션으로 대체됩니다.
• 실패 요약: AI 에이전트가 실패한 테스트의 동영상 녹화 파일을 분석하고 근본 원인 (예: 누락된 버튼 또는 잘못된 리디렉션)을 요약하여 엔지니어가 영상을 수동으로 검토할 필요성을 줄입니다.

Bug0는 Node.js에서 Google Gen AI SDK를 사용하여 Gemini 2.5 Pro를 통합했습니다. 프롬프트 실험 및 조정 등 초기 통합에는 약 3일이 걸렸습니다.

AI 어설션 엔진은 테스트 프레임워크의 작업과 Gemini 2.5 Pro의 평가 기능을 결합합니다. 프레임워크는 테스트 단계를 실행하고 Gemini 2.5 Pro는 결과 출력을 평가합니다.

'Google의 어설션 엔진에서는 Gemini 2.5 Pro와 Playwright를 결합합니다. Playwright가 단계를 실행합니다. Gemini 2.5 Pro는 시각적 출력을 평가하고 예상 결과가 충족되었는지 확인합니다'라고 Panda는 설명했습니다. '이를 통해 불안정한 로케이터나 하드 코딩된 기대치를 작성하지 않고도 Gemini 2.5 Pro로 구동되는 자연어 어설션을 사용할 수 있습니다.'

실패 요약의 경우 Bug0에서는 동영상 녹화, 실패 로그, 예상 동작이 포함된 특수 프롬프트 형식을 사용합니다. Gemini 2.5 Pro는 이 입력을 처리하여 테스트가 실패한 이유를 설명하는 사람이 읽을 수 있는 요약을 생성합니다. 이러한 중요한 QA 작업에는 Gemini 2.5 Pro의 정확성이 필수적이었습니다.

Gemini 2.5 Pro를 통합한 결과 Bug0의 디버깅 워크플로와 플랫폼의 전반적인 안정성이 크게 개선되었습니다. Bug0는 수동 디버깅과 어설션 작성을 AI 기반 워크플로로 대체하여 고객의 개발 속도를 높였습니다.

주요 결과는 다음과 같습니다.

• 엔지니어가 수동으로 시청해야 하는 테스트 실패 동영상 수 60% 감소
• 이제 테스트 실패의 70%이상이 정확한 근본 원인 설명과 함께 자동으로 요약됩니다.
• 기존 선택기 기반 방법과 비교하여 어설션 불안정성이 크게 감소함

판다는 'Gemini 2.5 Pro를 통해 속도를 높일 수 있었습니다'라고 말했습니다. '테스트 검토를 병목 현상에서 빠른 피드백 루프로 전환하여 핵심 제품 경험을 개선했습니다.'

Bug0에서는 현재 AI 테스트 작성 기능을 개발하고 있습니다. 사용자는 사용자 흐름 동영상을 제출할 수 있으며 Bug0는 Gemini 2.5 Pro를 사용하여 동영상을 분석하고 해당 테스트 스크립트와 어설션을 자동으로 생성합니다.

자체 애플리케이션을 빌드하려면 API 문서에서 Gemini 모델의 멀티모달 기능을 살펴보세요.