‫Raindrop עוקבת אחרי הביצועים של סוכני AI בקנה מידה גדול באמצעות Gemini 2.5 Flash

סוכני AI מציבים אתגרים ייחודיים בתחום המעקב בהשוואה לתוכנות מסורתיות. כשלים במערכות AI הם לרוב 'שקטים', כלומר הם לא יוצרים חריגים או שגיאות רגילים, ולכן קשה יותר לצוותי הנדסה לזהות בעיות. שיטות ניפוי באגים מסורתיות, כמו עיון ביומנים או הסתמכות על הערכות לפני שלב הייצור, לא תמיד מצליחות לזהות בעיות בביצועים בעולם האמיתי.

‫Raindrop היא פלטפורמת מעקב שתוכננה במיוחד לסוכני AI בסביבת ייצור. הוא עוזר לצוותי הנדסה לזהות בעיות מורכבות כמו כשלים בהפעלת כלים ותסכול של משתמשים, על ידי עיבוד של זרמים עצומים של אינטראקציות עם משתמשים. כדי להפעיל את צינור העיבוד לניטור בצורה יעילה, Raindrop משתמש ב-Gemini 2.5 Flash לסיווג, לסיכום ולדירוג מחדש של תוצאות החיפוש.

הפלטפורמה של Raindrop מעבדת עשרות מיליוני אירועים מדי יום. האתגר העיקרי של Raindrop הוא לאפשר לצוותי הנדסה להריץ שאילתות ולסווג בעיות במערכי הנתונים העצומים האלה כמעט בזמן אמת. כשמשתמש מגדיר בעיה חדשה למעקב, המערכת של Raindrop צריכה לפרש במהירות את כוונת המשתמש ולנתח את זרמי האירועים כדי למצוא התאמות.

העיבוד הזה של נפח נתונים גבוה דורש מודלים עם זמן אחזור נמוך מאוד ויעילות גבוהה בעלויות. חברת Raindrop הייתה צריכה פתרון שיפעיל את צינור הנתונים המרכזי שלה, 'ניטור סמנטי', ותכונות חדשות כמו Deep Search – כלי למחקר נתוני AI של ייצור – בלי לשלם עלויות גבוהות או לסבול מזמני תגובה איטיים שיפגעו בחוויית המשתמש.

"היינו צריכים מודל שיכול לעבד במהירות את האירועים הראשוניים האלה בעלות סבירה", אומר בן הילאק (Ben Hylak), מייסד שותף וסמנכ"ל טכנולוגיות ב-Raindrop. "החביון הנמוך והאינטליגנציה של Gemini 2.5 Flash מאפשרים לנו להשתמש במוצר Deep Search, שאחרת לא היה שמיש – הוא היה איטי מדי ויקר מדי עם מודלים אחרים".

‫Raindrop משתמש ב-Gemini 2.5 Flash כדי לנהל סיווג ושכתוב של שאילתות. ההטמעה פושטה באמצעות Vercel AI SDK, מה שאפשר ל-Raindrop לשלב את המודלים במהירות.

חברת Raindrop משתמשת ב-Gemini 2.5 Flash לכמה פונקציות מרכזיות:

• הרחבה ושכתוב של שאילתות: בצינור של Deep Search, נעשה שימוש ב-Gemini 2.5 Flash כדי לשכתב שאילתות של משתמשים ולבצע אופטימיזציה של התוצאות, וכך לשפר את הרלוונטיות של החיפוש במיליוני אירועים.
• פלט מובנה: כדי להבטיח תוצאות מדויקות יותר מאינטראקציות עם המודל, Raindrop משתמשת בהפעלת כלים ובפלט מובנה. האמינות הזו חשובה מאוד לניפוי באגים ולמתן הסברים מדויקים למשתמשים.

לפני ש-Raindrop החלה להשתמש ב-Gemini 2.5 Flash, היא בדקה מודלים קטנים אחרים, אבל גילתה שיחס העלות-ביצועים לא היה משתלם. "מודלים אחרים היו יקרים מדי, איטיים מדי, לא חכמים מספיק או שלא הניבו פלט מובנה מהימן". הילק ציין. "יחס האינטליגנציה לעלות היה הגיוני רק עם Gemini 2.5 Flash".

המעבר למודל Gemini 2.5 Flash אפשר ל-Raindrop לשפר באופן משמעותי את הביצועים והיעילות.

התוצאות העיקריות כוללות:

• קיצור זמני החיפוש משעות לפחות מדקה
• העלויות ירדו ביותר מ-90%
• מהימנות משופרת בהערכות ובמעקב אחר הייצור

חברת Raindrop משתמשת בתמיכה של Gemini API בפלט מובנה ובקריאות לכלים בצינור Deep Search שלה. כך הם יכולים לקבל תוצאות מדויקות ולראות את שלבי הנימוק לצורך ניפוי באגים, וזה חיוני לשמירה על מערכת אמינה. השילוב הראשוני הושלם תוך דקות באמצעות Vercel AI SDK.

חברת Raindrop ממשיכה לפתח את פלטפורמת המעקב שלה, שמותאמת לסוכנים, עם תכונות כמו מעקב מלא וזיהוי אוטומטי של בעיות בקריאות לכלים. הם מאמינים שככל שמודלים של AI יהפכו למהירים ואמינים יותר, סוכנים יוכלו להתמודד עם משימות מורכבות יותר ויותר.

"מפתחים צריכים לנצל את הפלט המובנה המהימן ואת מודל התמחור של Gemini 2.5 Flash כדי להשתמש בתרחישי שימוש שאולי חשבו בעבר שהם יקרים מדי", אמר היילק. ‫"Gemini 2.5 Flash יכול לשנות את תהליך פיתוח המוצר שלכם, כי הוא מאפשר לכם לספק למשתמשים חוויות חכמות שמתאימות למודל התמחור שלכם".

כדי להתחיל לבנות אפליקציות משלכם, כדאי לעיין ביכולות של מודלי Gemini במאמרי העזרה של ה-API.