Raindrop 使用 Gemini 2.5 Flash 大規模監控 AI 代理效能

相較於傳統軟體，AI 代理帶來獨特的監控挑戰。AI 系統的故障通常是「無聲的」，也就是說，系統可能不會產生標準例外狀況或錯誤，這會讓工程團隊更難偵測到問題。傳統的偵錯方法 (例如篩選記錄或依賴前置製作評估) 可能無法擷取實際效能問題。

Raindrop 專為正式環境中的 AI 代理提供監控平台，這項功能會處理大量使用者互動串流，協助工程團隊找出複雜問題，例如工具呼叫失敗和使用者感到沮喪。為有效率地支援監控管道，Raindrop 會使用 Gemini 2.5 Flash 進行分類、摘要和搜尋結果重新排序。

Raindrop 平台每天會處理數千萬個事件。Raindrop 的主要挑戰是讓工程團隊近乎即時地查詢及分類這些龐大資料集的問題。使用者定義要監控的新問題時，Raindrop 系統必須快速解讀使用者的意圖，並分析事件串流來找出相符項目。

這種高處理量需要極低延遲時間和高成本效益的模型。Raindrop 需要一項解決方案，為核心「語意監控」管道和 Deep Search 等新功能提供支援 (Deep Search 是用於研究生產 AI 資料的工具)，同時避免產生高昂費用或導致回應時間過長，進而影響使用者體驗。

Raindrop 共同創辦人兼技術長 Ben Hylak 表示：「我們需要一個模型，能夠以合理的成本快速處理這些初始事件。「Gemini 2.5 Flash 的低延遲和智慧功能，讓我們的 Deep Search 產品得以運作，否則使用其他模型時，速度太慢且成本太高，根本無法使用。」

Raindrop 整合了 Gemini 2.5 Flash，可管理分類和重新撰寫查詢。Raindrop 採用 Vercel AI SDK 簡化實作程序，快速整合模型。

Raindrop 運用 Gemini 2.5 Flash 執行多項重要功能：

• 查詢擴展和重寫：在 Deep Search 管道中，Gemini 2.5 Flash 會重寫使用者查詢，以最佳化結果，進而提升數百萬個事件的搜尋關聯性。
• 結構化輸出內容：Raindrop 會使用工具呼叫和結構化輸出內容，確保模型互動產生更準確的結果。這項可靠性對於偵錯至關重要，且可為使用者提供準確的推理追蹤記錄。

在採用 Gemini 2.5 Flash 之前，Raindrop 評估過其他小型模型，但發現成本效益比不佳。「其他模型不是太貴、太慢、不夠智慧，就是無法產生可靠的結構化輸出內容。」Hylak 提到，「只有 Gemini 2.5 Flash 才能提供合理的智慧與成本比。」

改用 Gemini 2.5 Flash 模型後，Raindrop 的效能和效率大幅提升。

主要結果包括：

• 搜尋時間縮短，從數小時縮短至通常不到一分鐘
• 成本降低超過 90%
• 提高評估和正式環境監控的可靠性

Raindrop 在 Deep Search 管道中，使用 Gemini API 支援的結構化輸出內容和工具呼叫。這有助於取得準確結果，並查看用於偵錯的推理追蹤記錄，對於維持可靠的系統至關重要。使用 Vercel AI SDK，幾分鐘內即可完成初步整合。

Raindrop 持續建構代理程式原生監控平台，提供完整追蹤和自動偵測工具呼叫問題等功能。他們認為，隨著 AI 模型變得更快更可靠，代理程式將能處理越來越複雜的工作。Hylak 建議：「開發人員應善用 Gemini 2.5 Flash 的可靠結構化輸出內容和定價模式，實現先前可能認為成本過高的用途。

「Gemini 2.5 Flash 能夠為使用者提供智慧體驗，且與您的定價模式相容，因此很可能改變產品開發的過程。」

如要開始建構自己的應用程式，請參閱 API 說明文件，瞭解 Gemini 模型的各項功能。