Bug0 は、Gemini 2.5 Pro を使用して手動テストのデバッグを 60% 削減します

従来のソフトウェア品質保証（QA）は、ユーザー インターフェースが変更されると壊れる、セレクタベースの脆弱なテストに依存していることがよくあります。通常、このような障害をデバッグするには、エンジニアがテストログと録画を手動で確認する必要があります。これは時間がかかり、開発の速度が低下するプロセスです。

AI を活用した QA プラットフォームである Bug0 は、エンジニアリング チーム向けのブラウザとモバイルのテストを自動化します。このプラットフォームは、テストを大規模に生成、維持、自動修復するように設計されており、従来の QA に関連する摩擦を軽減します。

テストの信頼性を高め、デバッグ プロセスを自動化するために、Bug0 は Gemini 2.5 Pro のマルチモーダル推論機能を使用してテスト記録を分析し、結果を検証して、障害の根本原因を自動的に特定します。

Bug0 は、頻繁に古くなる特定のコードセレクタに依存する Playwright などの従来のアサーション フレームワークへの依存を減らすことを目指していました。また、手動で介入することなくテスト結果を分析できるスケーラブルな方法も必要でした。

「失敗の根本原因を特定するためにテストの完全な記録を視聴するのは時間がかかり、複雑なセレクタや不安定なアサーションを維持すると、作業のスピードが遅くなります」と、Bug0 の共同創業者兼 CTO である Sandeep Panda 氏は述べています。「テストの目的と結果を AI を使用して自動的に要約する方法が必要でした。」

Bug0 は、高度なマルチモーダル機能、特に動画の解釈機能のために Gemini 2.5 Pro を選択しました。

Gemini 2.5 Pro は、次の 2 つの主な機能に実装されています。

• AI アサーション エンジン: エンジンは、動画録画、ページのスクリーンショット、アクセシビリティ スナップショットなどの視覚的または構造的な証拠に基づいて、テストの目的が達成されたかどうかを評価します。これにより、脆弱なコード ロケータが堅牢な AI 搭載のアサーションに置き換えられます。
• 失敗の要約: AI エージェントが失敗したテストの動画録画を分析し、根本原因（ボタンの欠落やリダイレクトの誤りなど）を要約します。これにより、エンジニアが映像を手動で確認する必要がなくなります。

Bug0 は、Node.js で Google Gen AI SDK を使用して Gemini 2.5 Pro を統合しました。プロンプトのテストとチューニングを含む最初の統合には、約 3 日かかりました。

AI アサーション エンジンは、テスト フレームワークのアクションと Gemini 2.5 Pro の評価機能を組み合わせます。フレームワークはテストステップを実行し、Gemini 2.5 Pro は結果の出力を評価します。

「アサーション エンジンでは、Gemini 2.5 Pro と Playwright を組み合わせています。Playwright は手順を実行します。Gemini 2.5 Pro は、ビジュアル出力を評価し、期待どおりの結果が得られたかどうかを確認します」と Panda 氏は説明します。「これにより、脆弱なロケータやハードコードされた期待値を記述する必要がなくなり、Gemini 2.5 Pro を活用した自然言語アサーションに依存できるようになります。」

障害の概要については、Bug0 は動画の録画、障害ログ、期待される動作を含む専用のプロンプト形式を使用します。Gemini 2.5 Pro はこの入力を処理し、テストが失敗した理由を説明する人が読める形式の要約を生成します。これらの重要な QA タスクでは、Gemini 2.5 Pro の精度が不可欠でした。

Gemini 2.5 Pro の統合により、Bug0 のデバッグ ワークフローとプラットフォーム全体の信頼性が大幅に向上しました。Bug0 は、手動のデバッグとアサーションの作成を AI 主導のワークフローに置き換えることで、顧客の開発速度を向上させました。

主な結果は次のとおりです。

• エンジニアが手動で確認する必要があるテスト失敗動画の数を 60% 削減
• テストの失敗の 70%以上が、正確な根本原因の説明とともに自動的に要約されるようになりました。
• 従来のセレクタベースの方法と比較して、アサーションの不安定さが大幅に減少

「Gemini 2.5 Pro により、開発のスピードが加速しました」と Panda 氏は述べています。「テストのレビューがボトルネックになっていたのを、迅速なフィードバック ループに変えることで、コア プロダクト エクスペリエンスが向上しました。」

Bug0 は現在、AI テストの作成機能を開発しています。ユーザーはユーザーフローの動画を送信できます。Bug0 は Gemini 2.5 Pro を使用して動画を分析し、対応するテストスクリプトとアサーションを自動的に生成します。

独自のアプリケーションの構築を開始するには、API ドキュメントで Gemini モデルのマルチモーダル機能を試してください。