Raindrop은 Gemini 2.5 Flash를 사용하여 AI 에이전트 성능을 대규모로 모니터링합니다.

AI 에이전트는 기존 소프트웨어와 비교할 때 고유한 모니터링 문제를 야기합니다. AI 시스템의 오류는 종종 '무음'입니다. 즉, 표준 예외나 오류가 발생하지 않을 수 있으므로 엔지니어링팀이 문제를 감지하기가 더 어려워집니다. 로그를 살펴보거나 사전 프로덕션 평가에 의존하는 등의 기존 디버깅 방법으로는 실제 성능 문제를 포착하지 못할 수 있습니다.

Raindrop은 프로덕션 환경의 AI 에이전트를 위해 특별히 설계된 모니터링 플랫폼을 제공합니다. 엔지니어링팀이 대규모 사용자 상호작용 스트림을 처리하여 도구 호출 실패, 사용자 불만과 같은 복잡한 문제를 식별하는 데 도움이 됩니다. 모니터링 파이프라인을 효율적으로 지원하기 위해 Raindrop은 Gemini 2.5 Flash를 사용하여 분류, 요약, 검색 재순위 지정을 수행합니다.

Raindrop의 플랫폼은 매일 수천만 건의 이벤트를 처리합니다. Raindrop의 주요 과제는 엔지니어링팀이 이러한 방대한 데이터 세트에서 거의 실시간으로 문제를 쿼리하고 분류할 수 있도록 지원하는 것입니다. 사용자가 모니터링할 새로운 문제를 정의하면 Raindrop 시스템은 사용자의 의도를 신속하게 해석하고 이벤트 스트림을 분석하여 일치하는 항목을 찾아야 합니다.

이러한 높은 처리량의 처리를 위해서는 지연 시간이 매우 짧고 비용 효율성이 높은 모델이 필요합니다. Raindrop은 사용자 환경을 저해하는 과도한 비용이나 느린 응답 시간 없이 핵심 '시맨틱 모니터링' 파이프라인과 프로덕션 AI 데이터를 연구하는 도구인 Deep Search와 같은 새로운 기능을 지원하는 솔루션이 필요했습니다.

Raindrop의 공동 창업자이자 CTO인 Ben Hylak은 '합리적인 비용으로 이러한 초기 이벤트를 빠르게 처리할 수 있는 모델이 필요했습니다'라고 말했습니다. "Gemini 2.5 Flash의 짧은 지연 시간과 지능 덕분에 다른 모델로는 너무 느리고 비용이 많이 들어 사용할 수 없었던 Deep Search 제품을 사용할 수 있게 되었습니다."

Raindrop은 Gemini 2.5 Flash를 통합하여 분류 및 쿼리 재작성을 관리했습니다. Vercel AI SDK를 사용하여 구현이 간소화되어 Raindrop이 모델을 빠르게 통합할 수 있었습니다.

Raindrop은 다음과 같은 여러 주요 기능에 Gemini 2.5 Flash를 활용합니다.

• 검색어 확장 및 재작성: Deep Search 파이프라인에서 Gemini 2.5 Flash는 사용자 검색어를 재작성하여 결과를 최적화하고 수백만 개의 이벤트 전반에서 검색 관련성을 개선하는 데 활용됩니다.
• 구조화된 출력: Raindrop은 도구 호출과 구조화된 출력을 활용하여 모델 상호작용에서 더 정확한 결과를 얻습니다. 이러한 안정성은 디버깅하고 사용자에게 정확한 추론 추적을 제공하는 데 매우 중요합니다.

Raindrop은 Gemini 2.5 Flash를 도입하기 전에 다른 소형 모델을 평가했지만 비용 대비 성능 비율이 좋지 않다고 판단했습니다. '다른 모델은 너무 비싸거나, 너무 느리거나, 충분히 지능적이지 않거나, 신뢰할 수 있는 구조화된 출력을 생성하지 못했습니다.' Hylak이 언급되었습니다. '지능 대 비용 비율은 Gemini 2.5 Flash에서만 의미가 있었습니다.'

Raindrop은 Gemini 2.5 Flash 모델로 전환하여 성능과 효율성을 크게 개선했습니다.

주요 결과는 다음과 같습니다.

• 검색 시간이 몇 시간에서 1분 미만으로 단축됨
• 비용이 90% 이상 절감됨
• 평가 및 프로덕션 모니터링 전반에서 신뢰성 향상

Raindrop은 Deep Search 파이프라인 내에서 구조화된 출력과 도구 호출을 지원하는 Gemini API를 사용합니다. 이를 통해 정확한 결과를 얻고 디버깅을 위한 추론 트레이스를 볼 수 있으며, 이는 안정적인 시스템을 유지하는 데 매우 중요합니다. Vercel AI SDK를 사용하여 몇 분 만에 초기 통합을 완료했습니다.

Raindrop은 완전한 추적과 도구 호출 문제의 자동 감지와 같은 기능을 통해 에이전트 네이티브 모니터링 플랫폼을 계속 구축하고 있습니다. AI 모델이 더 빠르고 안정적으로 작동하게 되면 상담사가 점점 더 복잡한 작업을 처리할 수 있을 것이라고 생각합니다.

Hylak은 '개발자는 Gemini 2.5 Flash의 안정적인 구조화된 출력과 가격 모델을 활용하여 이전에는 너무 비싸다고 생각했던 사용 사례를 지원해야 합니다'라고 조언했습니다. 'Gemini 2.5 Flash를 사용하면 가격 책정 모델과 실제로 호환되는 지능형 환경을 사용자에게 제공하여 제품 개발의 방향을 바꿀 수 있습니다.'

나만의 애플리케이션을 빌드하려면 API 문서에서 Gemini 모델의 기능을 살펴보세요.