Raindrop 使用 Gemini 2.5 Flash 大规模监控 AI 代理的性能

与传统软件相比，AI 代理带来了独特的监控挑战。AI 系统中的故障通常是“静默”的，也就是说，它们可能不会产生标准异常或错误，这使得工程团队更难检测到问题。传统的调试方法（例如过滤日志或依赖预生产评估）可能无法捕获实际性能问题。

Raindrop 提供了一个专门为生产环境中的 AI 代理设计的监控平台。它通过处理大量用户互动数据流，帮助工程团队发现复杂的工具调用失败和用户挫败感等问题。为了高效地支持其监控流水线，Raindrop 使用 Gemini 2.5 Flash 进行分类、总结和搜索重新排名。

Raindrop 的平台每天处理数千万个事件。Raindrop 的主要挑战在于，如何让工程团队能够近乎实时地查询和分类这些庞大的数据集中的问题。当用户定义要监控的新问题时，Raindrop 的系统必须快速解读用户意图并分析事件流，以找到匹配项。

这种高吞吐量处理需要提供极低延迟和高成本效益的模型。Raindrop 需要一种解决方案来支持其核心“语义监控”流水线和新功能（例如用于研究生产 AI 数据的 Deep Search），同时避免产生过高的成本或过慢的响应时间，以免影响用户体验。

“我们需要一个能够以合理成本快速处理这些初始事件的模型，”Raindrop 的联合创始人兼 CTO Ben Hylak 说道。“Gemini 2.5 Flash 的低延迟和智能性使我们的 Deep Search 产品成为可能，否则使用其他模型会太慢且成本太高，无法使用。”

Raindrop 集成了 Gemini 2.5 Flash，用于管理分类和查询重写。通过使用 Vercel AI SDK，Raindrop 简化了实现流程，从而能够快速集成模型。

Raindrop 利用 Gemini 2.5 Flash 实现多项关键功能：

• 查询扩展和重写：在 Deep Search 流水线中，Gemini 2.5 Flash 用于重写用户查询以优化结果，从而提高数百万个事件的搜索相关性。
• 结构化输出：Raindrop 利用工具调用和结构化输出，确保模型互动产生更准确的结果。这种可靠性对于调试和向用户提供准确的推理轨迹至关重要。

在采用 Gemini 2.5 Flash 之前，Raindrop 评估了其他小型模型，但发现性价比并不理想。“其他模型要么太昂贵，要么太慢，要么不够智能，要么无法生成可靠的结构化输出。”Hylak 指出。“只有 Gemini 2.5 Flash 才能实现如此高的智能与成本比。”

通过改用 Gemini 2.5 Flash 模型，Raindrop 在性能和效率方面取得了显著提升。

主要成果包括：

• 搜索时间缩短，从数小时缩短到通常不到 1 分钟
• 成本削减超过 90%
• 在评估和生产监控方面提高可靠性

Raindrop 在其深度搜索管道中使用了 Gemini API 对结构化输出和工具调用的支持。这样一来，他们就能获得准确的结果并查看推理过程以进行调试，这对于维护可靠的系统至关重要。使用 Vercel AI SDK 在几分钟内完成了初始集成。

Raindrop 正在不断完善其代理原生监控平台，新增了完整追踪和自动检测工具调用问题等功能。他们认为，随着人工智能模型变得更快、更可靠，智能体将能够处理越来越复杂的任务。

“开发者应该利用 Gemini 2.5 Flash 可靠的结构化输出和定价模式，来实现他们以前可能认为成本过高的应用场景，”Hylak 建议道。“Gemini 2.5 Flash 可能会改变您的产品开发历程，让您能够为用户提供与您的价格模式相符的智能体验。”

要开始构建您自己的应用程序，请在我们的 API 文档 中探索 Gemini 模型的功能。