Raindrop は、Gemini 2.5 Flash を使用して AI エージェントのパフォーマンスを大規模にモニタリングします

AI エージェントには、従来のソフトウェアとは異なる独自のモニタリングの課題があります。AI システムの障害は「サイレント」であることが多く、標準的な例外やエラーが発生しないため、エンジニアリング チームが問題を検出するのが難しくなります。ログの精査や本番環境前の評価などの従来のデバッグ方法では、実際のパフォーマンスの問題を捉えられない可能性があります。

Raindrop は、本番環境の AI エージェント専用に設計されたモニタリング プラットフォームを提供します。エンジニアリング チームは、ユーザー インタラクションの大量のストリームを処理することで、ツール呼び出しの失敗やユーザーの不満などの複雑な問題を特定できます。モニタリング パイプラインを効率的に強化するために、Raindrop は分類、要約、検索結果の再ランキングに Gemini 2.5 Flash を使用しています。

Raindrop のプラットフォームは、毎日数千万件のイベントを処理しています。Raindrop の主な課題は、エンジニアリング チームがこれらの膨大なデータセット全体で問題をほぼリアルタイムでクエリして分類できるようにすることです。ユーザーがモニタリングする新しい問題を定義すると、Raindrop のシステムはユーザーの意図を迅速に解釈し、イベント ストリームを分析して一致するものを探す必要があります。

この高スループット処理には、レイテンシが非常に低く、費用対効果の高いモデルが必要です。Raindrop は、ユーザー エクスペリエンスを損なうような高額な費用や遅いレスポンス時間を発生させることなく、コアの「セマンティック モニタリング」パイプラインと、本番環境の AI データを調査するためのツールである Deep Search などの新機能を強化するソリューションを必要としていました。

「これらの初期イベントを妥当なコストで迅速に処理できるモデルが必要でした」と、Raindrop の共同創業者兼 CTO である Ben Hylak 氏は述べています。「Gemini 2.5 Flash の低レイテンシとインテリジェンスにより、他のモデルでは遅すぎたり高すぎたりして使用できなかった Deep Search プロダクトが使用できるようになりました。」

Raindrop は Gemini 2.5 Flash を統合して、カテゴリ分けとクエリの書き換えを管理しました。Vercel AI SDK を使用して実装を効率化し、Raindrop がモデルを迅速に統合できるようにしました。

Raindrop は、いくつかの重要な機能に Gemini 2.5 Flash を活用しています。

• クエリの拡張と書き換え: Deep Search パイプラインでは、Gemini 2.5 Flash を活用してユーザー クエリを書き換え、結果を最適化します。これにより、数百万件のイベントにわたって検索の関連性が向上します。
• 構造化された出力: Raindrop は、ツール呼び出しと構造化された出力を使用して、モデルのインタラクションからより正確な結果を得られるようにします。この信頼性は、デバッグを行い、正確な推論トレースをユーザーに提供するうえで重要です。

Gemini 2.5 Flash を導入する前に、Raindrop は他の小規模モデルを評価しましたが、費用対効果が低いことがわかりました。「他のモデルは、費用が高すぎたり、速度が遅すぎたり、十分なインテリジェンスがなかったり、信頼性の高い構造化された出力を生成できなかったりしました。」Hylak 氏の指摘について「インテリジェンスとコストの比率が意味をなしたのは、Gemini 2.5 Flash だけでした。」

Gemini 2.5 Flash モデルに切り替えることで、Raindrop はパフォーマンスと効率を大幅に向上させました。

主な結果は次のとおりです。

• 検索時間が短縮され、数時間から 1 分未満になることが多くなりました。
• コストを 90% 以上削減
• 評価と本番環境のモニタリングの両方で信頼性が向上

Raindrop は、Deep Search パイプライン内で Gemini API の構造化出力とツール呼び出しのサポートを使用しています。これにより、正確な結果を取得し、デバッグ用の推論トレースを表示できます。これは、信頼性の高いシステムを維持するために不可欠です。最初の統合は、Vercel AI SDK を使用して数分で完了しました。

Raindrop は、完全なトレースやツール呼び出しの問題の自動検出などの機能を備えた、エージェント ネイティブのモニタリング プラットフォームの構築を続けています。AI モデルの速度と信頼性が向上するにつれて、エージェントが処理できるタスクの複雑さも増すと考えています。

「デベロッパーは、Gemini 2.5 Flash の信頼性の高い構造化された出力と料金モデルを活用して、以前は費用がかかりすぎると考えられていたユースケースを実現する必要があります」と Hylak 氏は述べています。「Gemini 2.5 Flash を使用すると、価格モデルに実際に適合するインテリジェントなエクスペリエンスをユーザーに提供できるため、プロダクト開発の方向性を変えることができるでしょう。」

独自のアプリケーションの構築を開始するには、API ドキュメントで Gemini モデルの機能をご確認ください。