‫Raindrop עוקב אחרי הביצועים של סוכני AI בקנה מידה גדול באמצעות Gemini 2.5 Flash

סוכני AI מציבים אתגרים ייחודיים בתחום המעקב בהשוואה לתוכנות מסורתיות. כשלים במערכות AI הם לרוב 'שקטים', כלומר הם לא יוצרים חריגים או שגיאות סטנדרטיות, ולכן קשה יותר לצוותי הנדסה לזהות בעיות. שיטות ניפוי באגים מסורתיות, כמו עיון ביומנים או הסתמכות על הערכות לפני שלב הייצור, לא תמיד מצליחות לזהות בעיות בביצועים בעולם האמיתי.

‫Raindrop היא פלטפורמת מעקב שתוכננה במיוחד לסוכני AI בסביבת ייצור. הוא עוזר לצוותי הנדסה לזהות בעיות מורכבות כמו כשלים בקריאות לכלים ותסכול של משתמשים, על ידי עיבוד של זרמים עצומים של אינטראקציות עם משתמשים. כדי להפעיל את צינור העיבוד של המעקב בצורה יעילה, Raindrop משתמש ב-Gemini 2.5 Flash לסיווג, לסיכום ולדירוג מחדש של תוצאות החיפוש.

הפלטפורמה של Raindrop מעבדת עשרות מיליוני אירועים מדי יום. האתגר העיקרי של Raindrop הוא לאפשר לצוותי הנדסה להריץ שאילתות ולסווג בעיות במערכי הנתונים העצומים האלה כמעט בזמן אמת. כשמשתמש מגדיר בעיה חדשה למעקב, המערכת של Raindrop צריכה לפרש במהירות את כוונת המשתמש ולנתח את זרמי האירועים כדי למצוא התאמות.

העיבוד הזה עם התפוקה הגבוהה דורש מודלים עם זמן אחזור נמוך מאוד ויעילות גבוהה מבחינת עלות. חברת Raindrop הייתה צריכה פתרון שיפעיל את צינור הנתונים המרכזי שלה, 'ניטור סמנטי', ותכונות חדשות כמו Deep Search – כלי למחקר נתוני AI של ייצור – בלי לשלם עלויות גבוהות או לסבול מזמני תגובה איטיים שיפגעו בחוויית המשתמש.

"היינו צריכים מודל שיכול לעבד את האירועים הראשוניים האלה במהירות ובעלות סבירה", אומר בן הילק (Ben Hylak), מייסד שותף וסמנכ"ל טכנולוגיות ב-Raindrop. "החביון הנמוך והאינטליגנציה של Gemini 2.5 Flash מאפשרים לנו להשתמש במוצר Deep Search, שאחרת לא היה שמיש – הוא היה איטי מדי ויקר מדי עם מודלים אחרים".

‫Raindrop משתמש ב-Gemini 2.5 Flash כדי לנהל סיווג ושכתוב של שאילתות. ההטמעה פושטה באמצעות Vercel AI SDK, מה שאפשר ל-Raindrop לשלב את המודלים במהירות.

‫Raindrop משתמש ב-Gemini ‎2.5 Flash לכמה פונקציות מרכזיות:

• הרחבה ושכתוב של שאילתות: בצינור של Deep Search, נעשה שימוש ב-Gemini 2.5 Flash כדי לשכתב שאילתות של משתמשים ולבצע אופטימיזציה של התוצאות, וכך לשפר את הרלוונטיות של החיפוש במיליוני אירועים.
• פלט מובנה: כדי להבטיח תוצאות מדויקות יותר מאינטראקציות עם המודל, Raindrop משתמשת בהפעלת כלים ובפלט מובנה. המהימנות הזו חשובה מאוד לניפוי באגים ולמתן הסברים מדויקים למשתמשים.

לפני שהחברה החלה להשתמש ב-Gemini 2.5 Flash, היא בדקה מודלים קטנים אחרים, אבל גילתה שיחס העלות לביצועים לא היה משתלם. "מודלים אחרים היו יקרים מדי, איטיים מדי, לא חכמים מספיק או שלא הפיקו פלט מובנה מהימן". הילק ציין. "יחס האינטליגנציה לעלות היה הגיוני רק עם Gemini 2.5 Flash".

המעבר למודל Gemini 2.5 Flash אפשר ל-Raindrop לשפר באופן משמעותי את הביצועים והיעילות.

התוצאות העיקריות כוללות:

• קיצור זמני החיפוש משעות לפחות מדקה
• העלויות ירדו ביותר מ-90%
• מהימנות משופרת גם בהערכות וגם במעקב אחר הייצור

‫Raindrop משתמשת בתמיכה של Gemini API בפלט מובנה ובקריאות כלים בצינור Deep Search שלה. כך הם יכולים לקבל תוצאות מדויקות ולראות את שלבי הנימוק לצורך ניפוי באגים, וזה חיוני לשמירה על מערכת אמינה. השילוב הראשוני הושלם תוך דקות באמצעות Vercel AI SDK.

חברת Raindrop ממשיכה לפתח את פלטפורמת המעקב שלה, שכוללת תכונות כמו מעקב מלא וזיהוי אוטומטי של בעיות בקריאות לכלים. הם מאמינים שככל שמודלים של AI יהיו מהירים ואמינים יותר, סוכנים יוכלו להתמודד עם משימות מורכבות יותר ויותר.

"מפתחים צריכים לנצל את הפלט המובנה האמין ואת מודל התמחור של Gemini 2.5 Flash כדי להשתמש בתרחישי שימוש שבעבר הם חשבו שהם יקרים מדי", אמר היילק. ‫"Gemini 2.5 Flash יכול לשנות את מהלך פיתוח המוצר שלכם, כי הוא מאפשר לכם לספק למשתמשים חוויות חכמות שמתאימות למודל התמחור שלכם".

כדי להתחיל לפתח אפליקציות משלכם, כדאי לעיין ביכולות של מודלים של Gemini במאמרי העזרה של ה-API.