Raindrop отслеживает производительность ИИ-агента в больших масштабах с помощью Gemini 2.5 Flash

Агенты ИИ создают особые проблемы мониторинга по сравнению с традиционным программным обеспечением. Сбои в системах ИИ часто происходят «скрыто», то есть они могут не вызывать стандартных исключений или ошибок, что затрудняет обнаружение проблем инженерными группами. Традиционные методы отладки, такие как анализ журналов или использование предварительных оценок, могут не выявлять реальные проблемы производительности.

Raindrop предоставляет платформу мониторинга, специально разработанную для ИИ-агентов в производственной среде. Она помогает инженерным командам выявлять сложные проблемы, такие как сбои в вызовах инструментов и проблемы с пользователями, обрабатывая огромные потоки данных. Для эффективного управления процессом мониторинга Raindrop использует Gemini 2.5 Flash для категоризации, обобщения и переоценки результатов поиска.

Платформа Raindrop ежедневно обрабатывает десятки миллионов событий. Основная задача Raindrop — предоставить инженерным командам возможность запрашивать и классифицировать проблемы в этих огромных наборах данных практически в режиме реального времени. Когда пользователь определяет новую проблему для мониторинга, система Raindrop должна быстро интерпретировать намерения пользователя и анализировать потоки событий для поиска совпадений.

Для такой высокопроизводительной обработки требуются модели с чрезвычайно низкой задержкой и высокой экономической эффективностью. Raindrop требовалось решение для поддержки своего основного конвейера «семантического мониторинга» и новых функций, таких как Deep Search — инструмент для исследования данных ИИ в производственных условиях, — без непомерно высоких затрат или медленного отклика, которые могли бы ухудшить пользовательский опыт.

«Нам нужна была модель, которая могла бы быстро обрабатывать эти начальные события по разумной цене», — сказал Бен Хилак, соучредитель и технический директор Raindrop. «Низкая задержка и интеллектуальные возможности Gemini 2.5 Flash позволяют нам использовать наш продукт Deep Search, который в противном случае был бы бесполезен — слишком медленный и слишком дорогой с другими моделями».

Raindrop интегрировал Gemini 2.5 Flash для управления категоризацией и переписыванием запросов. Реализация была оптимизирована с помощью Vercel AI SDK, что позволило Raindrop быстро интегрировать модели.

Raindrop использует Gemini 2.5 Flash для нескольких ключевых функций:

• Расширение и переписывание запросов: в конвейере глубокого поиска Gemini 2.5 Flash используется для переписывания пользовательских запросов с целью оптимизации результатов, что повышает релевантность поиска по миллионам событий.
• Структурированные выходные данные: Raindrop использует вызов инструментов и структурированные выходные данные для обеспечения более точных результатов взаимодействия с моделями. Эта надёжность критически важна для отладки и предоставления пользователям точных трассировок рассуждений.

Перейдя на модель Gemini 2.5 Flash, компания Raindrop добилась значительного повышения производительности и эффективности.

Основные результаты включают:

• Время поиска сократилось с нескольких часов до менее чем минуты
• Сокращение расходов более чем на 90%
• Повышенная надежность как оценок, так и мониторинга производства

Компания Raindrop продолжает развивать свою платформу мониторинга, разработанную специально для агентов, добавляя такие функции, как полная трассировка и автоматическое обнаружение проблем с вызовами инструментов. Компания считает, что по мере повышения скорости и надежности моделей ИИ агенты смогут справляться со всё более сложными задачами.

«Разработчикам следует воспользоваться преимуществами надёжной структурированной разработки и ценовой модели Gemini 2.5 Flash, чтобы реализовать сценарии, которые ранее казались им чрезмерно дорогими», — посоветовал Хилак. «Gemini 2.5 Flash, вероятно, может изменить ход разработки вашего продукта, позволяя вам предоставлять пользователям интеллектуальный интерфейс, который действительно соответствует вашей ценовой модели».

Чтобы приступить к созданию собственных приложений, изучите возможности моделей Gemini в нашей документации по API .