Raindrop monitora le prestazioni degli agenti AI su larga scala utilizzando Gemini 2.5 Flash

Gli agenti AI presentano sfide di monitoraggio uniche rispetto al software tradizionale. Gli errori nei sistemi di AI sono spesso "silenziosi", il che significa che potrebbero non produrre eccezioni o errori standard, il che rende più difficile il rilevamento dei problemi per i team di ingegneria. I metodi di debug tradizionali, come l'analisi dei log o l'affidamento a valutazioni di pre-produzione, potrebbero non rilevare problemi di prestazioni reali.

Raindrop fornisce una piattaforma di monitoraggio progettata appositamente per gli agenti AI in produzione. Elabora enormi flussi di interazioni degli utenti per aiutare i team di ingegneria a identificare problemi complessi come errori di chiamata di strumenti e frustrazione degli utenti. Per alimentare in modo efficiente la sua pipeline di monitoraggio, Raindrop utilizza Gemini 2.5 Flash per la categorizzazione, il riepilogo e il riposizionamento della ricerca.

La piattaforma di Raindrop elabora decine di milioni di eventi al giorno. Una delle sfide principali per Raindrop è consentire ai team di ingegneria di eseguire query e classificare i problemi in questi vasti set di dati quasi in tempo reale. Quando un utente definisce un nuovo problema da monitorare, il sistema di Raindrop deve interpretare rapidamente l'intento dell'utente e analizzare i flussi di eventi per trovare corrispondenze.

Questa elaborazione a throughput elevato richiede modelli che offrano una latenza estremamente bassa e un'elevata efficienza in termini di costi. Raindrop aveva bisogno di una soluzione per alimentare la sua pipeline principale di "monitoraggio semantico" e nuove funzionalità come Deep Search, uno strumento per la ricerca di dati di AI di produzione, senza incorrere in costi proibitivi o tempi di risposta lenti che avrebbero peggiorato l'esperienza utente.

"Avevamo bisogno di un modello in grado di elaborare rapidamente questi eventi iniziali a un costo ragionevole", ha affermato Ben Hylak, cofondatore e CTO di Raindrop. "La bassa latenza e l'intelligenza di Gemini 2.5 Flash consentono di utilizzare il nostro prodotto Deep Search, che altrimenti sarebbe inutilizzabile, troppo lento e troppo costoso con altri modelli."

Raindrop ha integrato Gemini 2.5 Flash per gestire la categorizzazione e la riscrittura delle query. L'implementazione è stata semplificata utilizzando l'SDK Vercel AI, consentendo a Raindrop di integrare rapidamente i modelli.

Raindrop utilizza Gemini 2.5 Flash per diverse funzioni chiave:

• Espansione e riscrittura delle query: nella pipeline di Deep Search, Gemini 2.5 Flash viene utilizzato per riscrivere le query degli utenti per ottimizzare i risultati, migliorando la pertinenza della ricerca in milioni di eventi.
• Output strutturati:Raindrop utilizza la chiamata di funzioni e gli output strutturati per garantire risultati più accurati dalle interazioni del modello. Questa affidabilità è fondamentale per il debug e per fornire agli utenti tracce di ragionamento accurate.

Prima di adottare Gemini 2.5 Flash, Raindrop ha valutato altri modelli di piccole dimensioni, ma ha riscontrato un rapporto costi/prestazioni sfavorevole. "Gli altri modelli erano troppo costosi, troppo lenti, non abbastanza intelligenti o non producevano output strutturati affidabili". Hylak ha preso nota. "Il rapporto tra intelligenza e costi aveva senso solo con Gemini 2.5 Flash".

Passando al modello Gemini 2.5 Flash, Raindrop ha ottenuto notevoli miglioramenti in termini di prestazioni ed efficienza.

I risultati principali includono:

• Tempi di ricerca ridotti da ore a spesso meno di un minuto
• Costi ridotti di oltre il 90%
• Maggiore affidabilità sia nelle valutazioni che nel monitoraggio della produzione

Raindrop utilizza il supporto dell'API Gemini per output strutturati e chiamate di strumenti all'interno della pipeline di ricerca avanzata. In questo modo, possono ottenere risultati accurati e visualizzare le tracce di ragionamento per il debug, il che è fondamentale per mantenere un sistema affidabile. L'integrazione iniziale è stata completata in pochi minuti utilizzando l'SDK Vercel AI.

Raindrop continua a sviluppare la sua piattaforma di monitoraggio nativa dell'agente con funzionalità come la tracciabilità completa e il rilevamento automatico dei problemi di chiamata degli strumenti. Ritengono che, man mano che i modelli di AI diventano più veloci e affidabili, gli agenti saranno in grado di gestire attività sempre più complesse.

"Gli sviluppatori dovrebbero sfruttare i risultati strutturati affidabili e il modello di prezzi di Gemini 2.5 Flash per abilitare casi d'uso che in precedenza avrebbero potuto ritenere eccessivamente costosi", ha consigliato Hylak. "Gemini 2.5 Flash può probabilmente cambiare il corso dello sviluppo del tuo prodotto consentendoti di offrire ai tuoi utenti esperienze intelligenti che funzionano effettivamente con il tuo modello di prezzi".

Per iniziare a creare le tue applicazioni, esplora le funzionalità dei modelli Gemini nella nostra documentazione dell'API.