Raindrop monitoruje wydajność agentów AI na dużą skalę za pomocą modelu Gemini 2.5 Flash

Agenci AI stwarzają wyjątkowe wyzwania związane z monitorowaniem w porównaniu z tradycyjnym oprogramowaniem. Awarie systemów AI są często „ciche”, co oznacza, że mogą nie generować standardowych wyjątków ani błędów, co utrudnia zespołom inżynieryjnym wykrywanie problemów. Tradycyjne metody debugowania, takie jak przeglądanie logów czy poleganie na ocenach przedprodukcyjnych, mogą nie wykrywać problemów z wydajnością w rzeczywistym środowisku.

Raindrop to platforma monitorowania zaprojektowana specjalnie z myślą o agentach AI w środowisku produkcyjnym. Przetwarza ogromne strumienie interakcji użytkowników, co pomaga zespołom inżynieryjnym wykrywać złożone problemy, takie jak błędy wywoływania narzędzi i frustracja użytkowników. Aby skutecznie obsługiwać potok monitorowania, Raindrop używa modelu Gemini 2.5 Flash do kategoryzowania, podsumowywania i ponownego rankingu wyszukiwania.

Platforma Raindrop przetwarza dziesiątki milionów zdarzeń dziennie. Głównym wyzwaniem dla Raindrop jest umożliwienie zespołom inżynieryjnym wykonywania zapytań i klasyfikowania problemów w tych ogromnych zbiorach danych w czasie zbliżonym do rzeczywistego. Gdy użytkownik zdefiniuje nowy problem do monitorowania, system Raindrop musi szybko zinterpretować jego intencje i przeanalizować strumienie zdarzeń, aby znaleźć dopasowania.

Przetwarzanie o wysokiej przepustowości wymaga modeli, które zapewniają bardzo krótki czas oczekiwania i wysoką opłacalność. Firma Raindrop potrzebowała rozwiązania, które umożliwiłoby jej obsługę podstawowego potoku „monitorowania semantycznego” i nowych funkcji, takich jak Deep Search – narzędzie do badania danych AI w środowisku produkcyjnym – bez ponoszenia wygórowanych kosztów i bez długiego czasu reakcji, który pogorszyłby komfort użytkowania.

„Potrzebowaliśmy modelu, który mógłby szybko przetwarzać te początkowe zdarzenia przy rozsądnych kosztach” – powiedział Ben Hylak, współzałożyciel i dyrektor ds. technicznych w firmie Raindrop. „Niskie opóźnienia i inteligencja modelu Gemini 2.5 Flash umożliwiają korzystanie z naszej funkcji Deep Search, która w przypadku innych modeli byłaby bezużyteczna – zbyt wolna i zbyt droga”.

Raindrop zintegrował Gemini 2.5 Flash, aby zarządzać kategoryzacją i ponownym pisaniem zapytań. Wdrożenie zostało uproszczone dzięki pakietowi Vercel AI SDK, co pozwoliło Raindrop szybko zintegrować modele.

Raindrop wykorzystuje Gemini 2.5 Flash w kilku kluczowych funkcjach:

• Rozszerzanie i przekształcanie zapytań: w procesie Deep Search model Gemini 2.5 Flash jest wykorzystywany do przekształcania zapytań użytkowników w celu optymalizacji wyników, co zwiększa trafność wyszukiwania w przypadku milionów zdarzeń.
• Ustrukturyzowane dane wyjściowe: Raindrop wykorzystuje wywoływanie narzędzi i ustrukturyzowane dane wyjściowe, aby zapewnić dokładniejsze wyniki interakcji z modelem. Ta niezawodność ma kluczowe znaczenie w przypadku debugowania i dostarczania użytkownikom dokładnych śladów rozumowania.

Przed wdrożeniem modelu Gemini 2.5 Flash firma Raindrop przetestowała inne małe modele, ale uznała, że stosunek kosztów do wydajności jest niekorzystny. „Inne modele były zbyt drogie, zbyt wolne, niewystarczająco inteligentne lub nie generowały wiarygodnych danych strukturalnych”. Hylak noted. „Stosunek inteligencji do kosztów miał sens tylko w przypadku modelu Gemini 2.5 Flash”.

Dzięki przejściu na model Gemini 2.5 Flash firma Raindrop osiągnęła znaczną poprawę wydajności i efektywności.

Kluczowe wyniki:

• Skrócenie czasu wyszukiwania z godzin do często poniżej minuty
• Obniżenie kosztów o ponad 90%
• Większa niezawodność w przypadku ocen i monitorowania produkcji

Raindrop wykorzystuje w swoim procesie Deep Search obsługę danych wyjściowych o strukturze i wywołań narzędzi w interfejsie Gemini API. Dzięki temu mogą uzyskiwać dokładne wyniki i wyświetlać ślady rozumowania w celu debugowania, co jest kluczowe dla utrzymania niezawodności systemu. Początkowa integracja została przeprowadzona w kilka minut przy użyciu pakietu Vercel AI SDK.

Raindrop nadal rozwija swoją platformę monitorowania natywną dla agentów, dodając do niej funkcje takie jak pełne śledzenie i automatyczne wykrywanie problemów z wywołaniami narzędzi. Uważają, że w miarę jak modele AI będą stawać się szybsze i bardziej niezawodne, agenty będą mogły wykonywać coraz bardziej złożone zadania.

„Programiści powinni wykorzystać niezawodne dane wyjściowe w formie strukturalnej i model cenowy Gemini 2.5 Flash, aby umożliwić przypadki użycia, które wcześniej mogli uważać za zbyt kosztowne” – radzi Hylak. „Gemini 2.5 Flash może zmienić kierunek rozwoju Twojego produktu, ponieważ pozwala zapewnić użytkownikom inteligentne funkcje, które są zgodne z Twoim modelem cenowym”.

Aby zacząć tworzyć własne aplikacje, zapoznaj się z możliwościami modeli Gemini w naszej dokumentacji API.