Raindrop giám sát hiệu suất của tác nhân AI ở quy mô lớn bằng Gemini 2.5 Flash

Các tác nhân AI đặt ra những thách thức riêng về việc giám sát so với phần mềm truyền thống. Các lỗi trong hệ thống AI thường là "lỗi ngầm", tức là có thể không tạo ra các trường hợp ngoại lệ hoặc lỗi tiêu chuẩn, khiến các nhóm kỹ thuật khó phát hiện vấn đề hơn. Các phương thức gỡ lỗi truyền thống, chẳng hạn như sàng lọc nhật ký hoặc dựa vào các đánh giá trước khi phát hành, có thể không ghi lại được các vấn đề về hiệu suất trong thực tế.

Raindrop cung cấp một nền tảng giám sát được thiết kế riêng cho các tác nhân AI đang hoạt động. Việc này giúp các nhóm kỹ thuật xác định những vấn đề phức tạp như lỗi gọi công cụ và sự thất vọng của người dùng bằng cách xử lý lượng lớn luồng tương tác của người dùng. Để vận hành hiệu quả quy trình giám sát của mình, Raindrop sử dụng Gemini 2.5 Flash cho việc phân loại, tóm tắt và sắp xếp lại kết quả tìm kiếm.

Nền tảng của Raindrop xử lý hàng chục triệu sự kiện mỗi ngày. Thách thức chính đối với Raindrop là cho phép các nhóm kỹ thuật truy vấn và phân loại vấn đề trên những tập dữ liệu khổng lồ này gần như theo thời gian thực. Khi người dùng xác định một vấn đề mới cần theo dõi, hệ thống của Raindrop phải nhanh chóng diễn giải ý định của người dùng và phân tích luồng sự kiện để tìm ra các kết quả trùng khớp.

Quy trình xử lý có thông lượng cao này đòi hỏi các mô hình có độ trễ cực thấp và hiệu quả chi phí cao. Raindrop cần một giải pháp để hỗ trợ quy trình "giám sát ngữ nghĩa" cốt lõi và các tính năng mới như Deep Search (một công cụ để nghiên cứu dữ liệu AI sản xuất) mà không tốn quá nhiều chi phí hoặc thời gian phản hồi chậm, điều này sẽ làm giảm trải nghiệm người dùng.

"Chúng tôi cần một mô hình có thể xử lý nhanh các sự kiện ban đầu này với chi phí hợp lý", Ben Hylak, Nhà đồng sáng lập kiêm Giám đốc công nghệ của Raindrop cho biết. "Độ trễ thấp và trí thông minh của Gemini 2.5 Flash giúp sản phẩm Deep Search của chúng tôi hoạt động hiệu quả. Nếu không có Gemini 2.5 Flash, sản phẩm này sẽ không thể sử dụng được vì quá chậm và quá tốn kém khi dùng các mô hình khác."

Raindrop đã tích hợp Gemini 2.5 Flash để quản lý việc phân loại và viết lại truy vấn. Việc triển khai được tinh giản bằng Vercel AI SDK, cho phép Raindrop tích hợp các mô hình một cách nhanh chóng.

Raindrop tận dụng Gemini 2.5 Flash cho một số chức năng chính:

• Mở rộng và viết lại cụm từ tìm kiếm: Trong quy trình Deep Search, Gemini 2.5 Flash được tận dụng để viết lại cụm từ tìm kiếm của người dùng nhằm tối ưu hoá kết quả, cải thiện mức độ phù hợp của cụm từ tìm kiếm trên hàng triệu sự kiện.
• Đầu ra có cấu trúc: Raindrop sử dụng tính năng gọi công cụ và đầu ra có cấu trúc để đảm bảo kết quả chính xác hơn từ các lượt tương tác với mô hình. Độ tin cậy này rất quan trọng để gỡ lỗi và cung cấp dấu vết lý luận chính xác cho người dùng.

Trước khi áp dụng Gemini 2.5 Flash, Raindrop đã đánh giá các mô hình nhỏ khác nhưng nhận thấy tỷ lệ chi phí trên hiệu suất không phù hợp. "Các mô hình khác quá đắt, quá chậm, không đủ thông minh hoặc không tạo ra đầu ra có cấu trúc đáng tin cậy." Hylak đã ghi nhận. "Tỷ lệ giữa mức độ thông minh và chi phí chỉ hợp lý khi dùng Gemini 2.5 Flash."

Bằng cách chuyển sang mô hình Gemini 2.5 Flash, Raindrop đã đạt được những cải thiện đáng kể về hiệu suất và hiệu quả.

Sau đây là một số kết quả chính:

• Giảm thời gian tìm kiếm từ hàng giờ xuống thường dưới một phút
• Giảm chi phí hơn 90%
• Tăng độ tin cậy trong cả quá trình đánh giá và giám sát sản xuất

Raindrop sử dụng khả năng hỗ trợ đầu ra có cấu trúc và lệnh gọi công cụ của Gemini API trong quy trình Tìm kiếm sâu của họ. Nhờ đó, họ có thể nhận được kết quả chính xác và xem các dấu vết lý luận để gỡ lỗi, điều này rất quan trọng để duy trì một hệ thống đáng tin cậy. Quá trình tích hợp ban đầu đã hoàn tất chỉ trong vài phút bằng cách sử dụng Vercel AI SDK.

Raindrop đang tiếp tục xây dựng nền tảng giám sát gốc của tác nhân với các tính năng như theo dõi hoàn chỉnh và tự động phát hiện các vấn đề về lệnh gọi công cụ. Họ tin rằng khi các mô hình AI trở nên nhanh hơn và đáng tin cậy hơn, các nhân viên hỗ trợ sẽ có thể xử lý những nhiệm vụ ngày càng phức tạp.

"Nhà phát triển nên tận dụng các kết quả có cấu trúc đáng tin cậy và mô hình định giá của Gemini 2.5 Flash để triển khai những trường hợp sử dụng mà trước đây họ có thể cho rằng quá tốn kém", Hylak khuyến nghị. "Gemini 2.5 Flash có thể thay đổi tiến trình phát triển sản phẩm của bạn bằng cách cho phép bạn mang đến cho người dùng những trải nghiệm thông minh thực sự phù hợp với mô hình định giá của bạn."

Để bắt đầu xây dựng các ứng dụng của riêng bạn, hãy khám phá các tính năng của mô hình Gemini trong tài liệu về API của chúng tôi.