Raindrop supervisa el rendimiento de los agentes de IA a gran escala con Gemini 2.5 Flash

Los agentes de IA presentan desafíos de supervisión únicos en comparación con el software tradicional. Las fallas en los sistemas de IA suelen ser "silenciosas", lo que significa que es posible que no produzcan excepciones o errores estándar, lo que dificulta la detección de problemas para los equipos de ingeniería. Los métodos de depuración tradicionales, como revisar los registros o depender de las evaluaciones previas a la producción, pueden no capturar los problemas de rendimiento del mundo real.

Raindrop proporciona una plataforma de supervisión diseñada específicamente para los agentes de IA en producción. Ayuda a los equipos de ingeniería a identificar problemas complejos, como fallas en las llamadas a herramientas y frustración de los usuarios, ya que procesa grandes flujos de interacciones de los usuarios. Para potenciar su canalización de supervisión de manera eficiente, Raindrop usa Gemini 2.5 Flash para la categorización, el resumen y la clasificación de la búsqueda.

La plataforma de Raindrop procesa decenas de millones de eventos a diario. Uno de los principales desafíos de Raindrop es permitir que los equipos de ingeniería consulten y clasifiquen problemas en estos vastos conjuntos de datos casi en tiempo real. Cuando un usuario define un problema nuevo para supervisar, el sistema de Raindrop debe interpretar rápidamente la intención del usuario y analizar los flujos de eventos para encontrar coincidencias.

Este procesamiento de alta capacidad requiere modelos que ofrezcan una latencia extremadamente baja y una alta eficiencia en cuanto a los costos. Raindrop necesitaba una solución para potenciar su canalización principal de "monitoreo semántico" y nuevas funciones, como Deep Search, una herramienta para investigar datos de IA de producción, sin incurrir en costos prohibitivos ni tiempos de respuesta lentos que disminuyeran la experiencia del usuario.

"Necesitábamos un modelo que pudiera procesar rápidamente estos eventos iniciales a un costo razonable", dijo Ben Hylak, cofundador y CTO de Raindrop. "La baja latencia y la inteligencia de Gemini 2.5 Flash permiten que nuestro producto Deep Search funcione, ya que, de lo contrario, sería inutilizable: demasiado lento y costoso con otros modelos".

Raindrop integró Gemini 2.5 Flash para administrar la categorización y la reescritura de consultas. La implementación se optimizó con el SDK de Vercel AI, lo que permitió que Raindrop integrara los modelos rápidamente.

Raindrop aprovecha Gemini 2.5 Flash para varias funciones clave:

• Expansión y reescritura de la búsqueda: En la canalización de la Búsqueda profunda, se aprovecha Gemini 2.5 Flash para reescribir las búsquedas de los usuarios y optimizar los resultados, lo que mejora la relevancia de la búsqueda en millones de eventos.
• Resultados estructurados: Raindrop utiliza la llamada a herramientas y los resultados estructurados para garantizar resultados más precisos a partir de las interacciones del modelo. Esta confiabilidad es fundamental para depurar y proporcionar a los usuarios registros de razonamiento precisos.

Antes de adoptar Gemini 2.5 Flash, Raindrop evaluó otros modelos pequeños, pero descubrió que la relación costo-rendimiento era desfavorable. "Otros modelos eran demasiado costosos, demasiado lentos, no eran lo suficientemente inteligentes o no producían resultados estructurados confiables". Hylak noted. "La relación entre inteligencia y costo solo tenía sentido con Gemini 2.5 Flash".

Al cambiar al modelo Gemini 2.5 Flash, Raindrop logró importantes mejoras en el rendimiento y la eficiencia.

Entre los resultados clave, se incluyen los siguientes:

• Se redujeron los tiempos de búsqueda de horas a, a menudo, menos de un minuto.
• Reducción de costos en más del 90%
• Mayor confiabilidad en las evaluaciones y la supervisión de la producción

Raindrop usa la compatibilidad de la API de Gemini con los resultados estructurados y las llamadas a herramientas dentro de su canalización de Búsqueda profunda. Esto les permite obtener resultados precisos y ver los registros de razonamiento para la depuración, lo que es fundamental para mantener un sistema confiable. La integración inicial se completó en minutos con el SDK de Vercel AI.

Raindrop sigue desarrollando su plataforma de supervisión nativa del agente con funciones como el seguimiento completo y la detección automática de problemas de llamadas a herramientas. Creen que, a medida que los modelos de IA se vuelvan más rápidos y confiables, los agentes podrán manejar tareas cada vez más complejas.

"Los desarrolladores deberían aprovechar los resultados estructurados confiables y el modelo de precios de Gemini 2.5 Flash para habilitar casos de uso que antes podrían haber considerado prohibitivos", aconsejó Hylak. "Es probable que Gemini 2.5 Flash cambie el curso del desarrollo de tu producto, ya que te permite brindar experiencias inteligentes a tus usuarios que realmente funcionan con tu modelo de precios".

Para comenzar a crear tus propias aplicaciones, explora las capacidades de los modelos de Gemini en nuestra documentación de la API.