O Raindrop monitora a performance de agentes de IA em grande escala usando o Gemini 2.5 Flash

Os agentes de IA apresentam desafios de monitoramento exclusivos em comparação com o software tradicional. As falhas em sistemas de IA geralmente são "silenciosas", ou seja, podem não produzir exceções ou erros padrão, o que dificulta a detecção de problemas para as equipes de engenharia. Os métodos tradicionais de depuração, como analisar registros ou confiar em avaliações de pré-produção, podem não capturar problemas de desempenho no mundo real.

O Raindrop oferece uma plataforma de monitoramento projetada especificamente para agentes de IA em produção. Ele ajuda as equipes de engenharia a identificar problemas complexos, como falhas de chamadas de ferramentas e frustração do usuário, processando fluxos enormes de interações do usuário. Para impulsionar o pipeline de monitoramento com eficiência, o Raindrop usa o Gemini 2.5 Flash para categorização, resumo e reclassificação da pesquisa.

A plataforma da Raindrop processa dezenas de milhões de eventos diariamente. Um dos principais desafios do Raindrop é permitir que as equipes de engenharia consultem e classifiquem problemas nesses vastos conjuntos de dados quase em tempo real. Quando um usuário define um novo problema para monitorar, o sistema do Raindrop precisa interpretar rapidamente a intenção do usuário e analisar fluxos de eventos para encontrar correspondências.

Esse processamento de alta capacidade de processamento exige modelos que ofereçam latência extremamente baixa e alta eficiência de custo. A Raindrop precisava de uma solução para impulsionar o pipeline principal de "monitoramento semântico" e novos recursos, como a Pesquisa avançada, uma ferramenta para pesquisar dados de IA de produção, sem incorrer em custos proibitivos ou tempos de resposta lentos que prejudicariam a experiência do usuário.

"Precisávamos de um modelo que pudesse processar rapidamente esses eventos iniciais a um custo razoável", disse Ben Hylak, cofundador e CTO da Raindrop. "A baixa latência e a inteligência do Gemini 2.5 Flash permitem que nosso produto Deep Research funcione. Caso contrário, ele seria inutilizável, muito lento e caro com outros modelos."

O Raindrop integrou o Gemini 2.5 Flash para gerenciar a categorização e a reescrita de consultas. A implementação foi simplificada usando o SDK de IA da Vercel, permitindo que o Raindrop integrasse os modelos rapidamente.

O Raindrop usa o Gemini 2.5 Flash para várias funções importantes:

• Expansão e reescrita de consultas:no pipeline da Pesquisa Detalhada, o Gemini 2.5 Flash é usado para reescrever as consultas dos usuários e otimizar os resultados, melhorando a relevância da pesquisa em milhões de eventos.
• Saídas estruturadas:o Raindrop usa chamadas de função e saídas estruturadas para garantir resultados mais precisos nas interações com o modelo. Essa confiabilidade é essencial para depurar e fornecer rastreamentos de raciocínio precisos aos usuários.

Antes de adotar o Gemini 2.5 Flash, a Raindrop avaliou outros modelos pequenos, mas achou a relação custo-benefício desfavorável. "Outros modelos eram muito caros, muito lentos, não eram inteligentes o suficiente ou não produziam resultados estruturados confiáveis". Hylak observou. "A proporção inteligência-custo só fazia sentido com o Gemini 2.5 Flash."

Ao mudar para o modelo Gemini 2.5 Flash, a Raindrop alcançou ganhos significativos de performance e eficiência.

Os principais resultados incluem:

• Redução no tempo de pesquisa de horas para menos de um minuto
• Redução de custos em mais de 90%
• Maior confiabilidade nas avaliações e no monitoramento da produção

O Raindrop usa o suporte da API Gemini para saídas estruturadas e chamadas de ferramentas no pipeline de pesquisa avançada. Isso permite que eles recebam resultados precisos e vejam rastreamentos de raciocínio para depuração, o que é fundamental para manter um sistema confiável. A integração inicial foi concluída em minutos usando o SDK de IA da Vercel.

O Raindrop continua desenvolvendo a plataforma de monitoramento nativa do agente com recursos como rastreamento completo e detecção automática de problemas de chamada de ferramenta. Eles acreditam que, à medida que os modelos de IA se tornam mais rápidos e confiáveis, os agentes poderão lidar com tarefas cada vez mais complexas.

"Os desenvolvedores devem aproveitar as saídas estruturadas confiáveis e o modelo de preços do Gemini 2.5 Flash para ativar casos de uso que antes eram considerados muito caros", aconselhou Hylak. "O Gemini 2.5 Flash pode mudar o curso do desenvolvimento de produtos, permitindo que você ofereça experiências inteligentes aos usuários que realmente funcionam com seu modelo de preços."

Para começar a criar seus próprios aplicativos, confira os recursos dos modelos do Gemini na nossa documentação da API.