Raindrop 使用 Gemini 2.5 Flash 大规模监控 AI 代理的性能

与传统软件相比，AI 代理带来了独特的监控挑战。AI 系统中的故障通常是“静默的”，这意味着它们可能不会产生标准异常或错误，这使得工程团队更难检测到问题。传统的调试方法（例如过滤日志或依赖预生产评估）可能无法捕获实际性能问题。

Raindrop 提供了一个专门为生产环境中的 AI 代理设计的监控平台。它通过处理大量用户互动数据流，帮助工程团队发现复杂的工具调用失败和用户体验不佳等问题。为了高效地支持其监控流水线，Raindrop 使用 Gemini 2.5 Flash 进行分类、总结和搜索重新排名。

Raindrop 的平台每天处理数千万个事件。Raindrop 的主要挑战在于，如何让工程团队近乎实时地查询和分类这些庞大数据集中的问题。当用户定义要监控的新问题时，Raindrop 的系统必须快速解读用户意图并分析事件流，以找到匹配项。

这种高吞吐量处理需要提供极低延迟和高成本效益的模型。Raindrop 需要一种解决方案来支持其核心“语义监控”流水线和新功能（例如用于研究生产 AI 数据的 Deep Search），同时避免产生过高的成本或过慢的响应时间，以免影响用户体验。

“我们需要一种能够以合理成本快速处理这些初始事件的模型，”Raindrop 的联合创始人兼 CTO Ben Hylak 说道。“Gemini 2.5 Flash 的低延迟和智能性使我们的 Deep Search 产品成为可能，否则使用其他模型会太慢且成本太高，无法使用。”

Raindrop 集成了 Gemini 2.5 Flash，用于管理分类和查询重写。通过使用 Vercel AI SDK，Raindrop 对实现进行了简化，从而能够快速集成模型。

Raindrop 利用 Gemini 2.5 Flash 实现多项关键功能：

• 查询扩展和重写：在 Deep Search 流水线中，Gemini 2.5 Flash 用于重写用户查询以优化结果，从而提高数百万个事件的搜索相关性。
• 结构化输出：Raindrop 利用工具调用和结构化输出，确保模型互动产生更准确的结果。这种可靠性对于调试和向用户提供准确的推理轨迹至关重要。

在采用 Gemini 2.5 Flash 之前，Raindrop 评估了其他小型模型，但发现性价比并不理想。“其他模型要么太昂贵，要么太慢，要么不够智能，要么无法生成可靠的结构化输出。”Hylak 指出。“只有 Gemini 2.5 Flash 才能实现如此高的智能与成本比。”

通过改用 Gemini 2.5 Flash 模型，Raindrop 在性能和效率方面取得了显著提升。

主要成果包括：

• 搜索时间缩短，从数小时缩短到通常不到 1 分钟
• 费用降低了 90% 以上
• 在评估和生产监控方面提高可靠性

Raindrop 在其深度搜索流水线中使用了 Gemini API 对结构化输出和工具调用的支持。这样一来，他们就可以获得准确的结果，并查看推理轨迹以进行调试，这对于维护可靠的系统至关重要。使用 Vercel AI SDK 在几分钟内完成了初始集成。

Raindrop 正在继续构建其代理原生监控平台，并添加了完整跟踪和自动检测工具调用问题等功能。他们认为，随着 AI 模型变得更快、更可靠，智能体将能够处理越来越复杂的任务。

Hylak 建议：“开发者应充分利用 Gemini 2.5 Flash 可靠的结构化输出和定价模式，实现他们之前可能认为成本过高的应用场景。”“Gemini 2.5 Flash 可能会改变您的产品开发历程，让您能够为用户提供与您的价格模式相符的实用智能体验。”

如需开始构建自己的应用，请参阅我们的 API 文档，了解 Gemini 模型的功能。