Raindrop memantau performa agen AI dalam skala besar menggunakan Gemini 2.5 Flash

Agen AI menimbulkan tantangan pemantauan yang unik dibandingkan dengan software tradisional. Kegagalan dalam sistem AI sering kali "diam", yang berarti sistem tersebut mungkin tidak menghasilkan pengecualian atau error standar, sehingga tim engineering lebih sulit mendeteksi masalah. Metode pen-debug-an tradisional, seperti memeriksa log atau mengandalkan evaluasi praproduksi, mungkin gagal menangkap masalah performa di dunia nyata.

Raindrop menyediakan platform pemantauan yang dirancang khusus untuk agen AI dalam produksi. Hal ini membantu tim engineering mengidentifikasi masalah kompleks seperti kegagalan panggilan alat dan frustrasi pengguna dengan memproses aliran interaksi pengguna yang sangat besar. Untuk mendukung pipeline pemantauannya secara efisien, Raindrop menggunakan Gemini 2.5 Flash untuk kategorisasi, ringkasan, dan penyesuaian peringkat penelusuran.

Platform Raindrop memproses puluhan juta peristiwa setiap hari. Tantangan utama Raindrop adalah memungkinkan tim engineering melakukan kueri dan mengklasifikasikan masalah di seluruh set data yang sangat besar ini dalam waktu hampir real time. Saat pengguna menentukan masalah baru yang akan dipantau, sistem Raindrop harus dengan cepat menafsirkan maksud pengguna dan menganalisis aliran peristiwa untuk menemukan kecocokan.

Pemrosesan throughput tinggi ini memerlukan model yang menawarkan latensi sangat rendah dan efisiensi biaya tinggi. Raindrop memerlukan solusi untuk mendukung pipeline "pemantauan semantik" intinya dan fitur baru seperti Deep Search—alat untuk meneliti data AI produksi—tanpa menimbulkan biaya yang mahal atau waktu respons yang lambat yang akan mengurangi pengalaman pengguna.

"Kami membutuhkan model yang dapat memproses peristiwa awal ini dengan cepat dan dengan biaya yang wajar," kata Ben Hylak, Co-Founder dan CTO Raindrop. "Latensi rendah dan kecerdasan Gemini 2.5 Flash memungkinkan produk Deep Search kami yang sebelumnya tidak dapat digunakan—terlalu lambat dan terlalu mahal dengan model lain."

Raindrop mengintegrasikan Gemini 2.5 Flash untuk mengelola kategorisasi dan penulisan ulang kueri. Implementasinya disederhanakan menggunakan Vercel AI SDK, sehingga Raindrop dapat mengintegrasikan model dengan cepat.

Raindrop memanfaatkan Gemini 2.5 Flash untuk beberapa fungsi utama:

• Perluasan dan penulisan ulang kueri: Dalam pipeline Penelusuran Mendalam, Gemini 2.5 Flash digunakan untuk menulis ulang kueri pengguna guna mengoptimalkan hasil, sehingga meningkatkan relevansi penelusuran di jutaan peristiwa.
• Output terstruktur: Raindrop menggunakan panggilan alat dan output terstruktur untuk memastikan hasil yang lebih akurat dari interaksi model. Keandalan ini sangat penting untuk men-debug dan memberikan jejak penalaran yang akurat kepada pengguna.

Sebelum mengadopsi Gemini 2.5 Flash, Raindrop mengevaluasi model kecil lainnya, tetapi menemukan rasio biaya terhadap performa yang tidak menguntungkan. "Model lain terlalu mahal, terlalu lambat, tidak cukup cerdas, atau tidak menghasilkan output terstruktur yang andal." Hylak noted. "Rasio kecerdasan terhadap biaya hanya masuk akal dengan Gemini 2.5 Flash."

Dengan beralih ke model Gemini 2.5 Flash, Raindrop memperoleh peningkatan performa dan efisiensi yang signifikan.

Hasil utama meliputi:

• Waktu penelusuran berkurang dari berjam-jam menjadi sering kali kurang dari satu menit
• Biaya dipangkas lebih dari 90%
• Peningkatan keandalan di seluruh evaluasi dan pemantauan produksi

Raindrop menggunakan dukungan Gemini API untuk output terstruktur dan panggilan alat dalam pipeline Deep Search mereka. Hal ini memungkinkan mereka mendapatkan hasil yang akurat dan melihat rekaman jejak penalaran untuk proses debug, yang sangat penting untuk mempertahankan sistem yang andal. Integrasi awal diselesaikan dalam hitungan menit menggunakan Vercel AI SDK.

Raindrop terus mengembangkan platform pemantauan native agennya dengan fitur seperti pelacakan lengkap dan deteksi otomatis masalah panggilan alat. Mereka yakin bahwa seiring model AI menjadi lebih cepat dan andal, agen akan dapat menangani tugas yang semakin kompleks.

"Developer harus memanfaatkan output terstruktur dan model harga Gemini 2.5 Flash yang andal untuk mengaktifkan kasus penggunaan yang sebelumnya mungkin dianggap terlalu mahal," saran Hylak. "Gemini 2.5 Flash kemungkinan dapat mengubah arah pengembangan produk Anda dengan memungkinkan Anda memberikan pengalaman cerdas kepada pengguna yang benar-benar sesuai dengan model harga Anda."

Untuk mulai membangun aplikasi Anda sendiri, pelajari kemampuan model Gemini dalam dokumentasi API kami.