Mit Raindrop wird die Leistung von KI-Agenten mit Gemini 2.5 Flash in großem Umfang überwacht

KI-Agents stellen im Vergleich zu herkömmlicher Software besondere Herausforderungen für das Monitoring dar. Fehler in KI-Systemen sind oft „still“, d. h., sie führen möglicherweise nicht zu Standardausnahmen oder ‑fehlern, was die Fehlererkennung für Entwicklerteams erschwert. Mit herkömmlichen Debugging-Methoden wie dem Durchsuchen von Logs oder der Verwendung von Pre-Production-Bewertungen lassen sich Leistungsprobleme in der Praxis möglicherweise nicht erfassen.

Raindrop bietet eine Monitoring-Plattform, die speziell für KI-Agents in der Produktion entwickelt wurde. So können Engineering-Teams komplexe Probleme wie fehlgeschlagene Tool-Aufrufe und Frustration bei Nutzern erkennen, indem sie riesige Streams von Nutzerinteraktionen verarbeiten. Um die Monitoring-Pipeline effizient zu betreiben, verwendet Raindrop Gemini 2.5 Flash für die Kategorisierung, Zusammenfassung und das Neuklassifizieren von Suchergebnissen.

Die Plattform von Raindrop verarbeitet täglich mehrere zehn Millionen Ereignisse. Eine der größten Herausforderungen für Raindrop besteht darin, dass Engineering-Teams Probleme in diesen riesigen Datasets nahezu in Echtzeit abfragen und klassifizieren können. Wenn ein Nutzer ein neues Problem definiert, das überwacht werden soll, muss das System von Raindrop die Intention des Nutzers schnell interpretieren und Ereignisstreams analysieren, um Übereinstimmungen zu finden.

Für diese Verarbeitung mit hohem Durchsatz sind Modelle erforderlich, die eine extrem niedrige Latenz und eine hohe Kosteneffizienz bieten. Raindrop benötigte eine Lösung für die Kernpipeline für die semantische Überwachung und neue Funktionen wie Deep Search – ein Tool zur Analyse von KI-Produktionsdaten –, ohne dass unerschwingliche Kosten oder langsame Reaktionszeiten entstehen, die die Nutzerfreundlichkeit beeinträchtigen würden.

„Wir brauchten ein Modell, das diese ersten Ereignisse schnell und zu einem angemessenen Preis verarbeiten konnte“, so Ben Hylak, Mitbegründer und CTO von Raindrop. „Die niedrige Latenz und die Intelligenz von Gemini 2.5 Flash ermöglichen unser Deep Search-Produkt, das mit anderen Modellen unbrauchbar wäre – zu langsam und zu teuer.“

Raindrop hat Gemini 2.5 Flash integriert, um die Kategorisierung und das Umschreiben von Anfragen zu verwalten. Die Implementierung wurde mit dem Vercel AI SDK optimiert, sodass Raindrop die Modelle schnell integrieren konnte.

Raindrop nutzt Gemini 2.5 Flash für mehrere wichtige Funktionen:

• Erweitern und Umschreiben von Suchanfragen:In der Deep Search-Pipeline wird Gemini 2.5 Flash verwendet, um Nutzeranfragen umzuschreiben und so die Ergebnisse zu optimieren. Dadurch wird die Suchrelevanz bei Millionen von Ereignissen verbessert.
• Strukturierte Ausgaben:Raindrop verwendet Tool-Aufrufe und strukturierte Ausgaben, um genauere Ergebnisse aus Modellinteraktionen zu erzielen. Diese Zuverlässigkeit ist entscheidend für das Debugging und die Bereitstellung genauer Begründungsspuren für Nutzer.

Vor der Einführung von Gemini 2.5 Flash hat Raindrop andere kleine Modelle getestet, das Preis-Leistungs-Verhältnis war jedoch ungünstig. „Andere Modelle waren entweder zu teuer, zu langsam, nicht intelligent genug oder lieferten keine zuverlässigen strukturierten Ausgaben.“ Hylak hat es zur Kenntnis genommen. „Das Verhältnis von Intelligenz zu Kosten war nur mit Gemini 2.5 Flash sinnvoll.“

Durch den Wechsel zum Modell „Gemini 2.5 Flash“ konnte Raindrop die Leistung und Effizienz deutlich steigern.

Wichtige Ergebnisse:

• Suchzeiten verkürzt von Stunden auf oft weniger als eine Minute
• Kosten um mehr als 90 % gesenkt
• Höhere Zuverlässigkeit bei Auswertungen und Produktionsmonitoring

Raindrop nutzt die Unterstützung der Gemini API für strukturierte Ausgaben und Tool-Aufrufe in der Deep Search-Pipeline. So können sie genaue Ergebnisse erhalten und Begründungsspuren für das Debugging ansehen, was für die Aufrechterhaltung eines zuverlässigen Systems unerlässlich ist. Die erste Integration wurde mit dem Vercel AI SDK in wenigen Minuten abgeschlossen.

Raindrop baut seine agenteneigene Monitoring-Plattform mit Funktionen wie vollständigem Tracing und der automatischen Erkennung von Problemen bei Tool-Aufrufen weiter aus. Sie gehen davon aus, dass KI-Modelle mit der Zeit schneller und zuverlässiger werden und Agenten dann in der Lage sein werden, immer komplexere Aufgaben zu bewältigen.

„Entwickler sollten die zuverlässigen strukturierten Ausgaben und das Preismodell von Gemini 2.5 Flash nutzen, um Anwendungsfälle zu ermöglichen, die sie bisher vielleicht für unerschwinglich gehalten haben“, rät Hylak. „Gemini 2.5 Flash kann die Produktentwicklung verändern, da Sie Ihren Nutzern intelligente Funktionen bieten können, die mit Ihrem Preismodell kompatibel sind.“

Wenn Sie mit der Entwicklung eigener Anwendungen beginnen möchten, können Sie sich in unserer API-Dokumentation über die Funktionen von Gemini-Modellen informieren.