‫InstaLILY: מנוע חיפוש אג'נטי לארגונים, שמבוסס על Gemini

סוכני AI ארגוניים שמבצעים אוטומציה של תהליכי עבודה מורכבים, כמו מכירות B2B או תחזוקה תעשייתית, דורשים מודלים שאומנו על כמויות גדולות של נתונים איכותיים וספציפיים לתחום. עבור חברות רבות, יצירת הנתונים האלה היא צוואר בקבוק עיקרי, כי תיוג ידני הוא תהליך איטי ויקר, ומודלים גנריים עלולים להיות חסרים את הניואנסים הנדרשים. ‫

‫InstaLILY AI היא פלטפורמה ארגונית לסוכני AI אוטונומיים ואנכיים, שעוזרת לחברות להפוך לאוטומטיות תהליכי עבודה מורכבים במכירות, בשירות ובפעולות. אחד הלקוחות שלהם, PartsTown, ביקש לבנות מנוע חיפוש בזמן אמת לסוכני AI, כדי להתאים באופן מיידי בין טכנאי שטח לבין חלקי חילוף ספציפיים מתוך קטלוג של יותר מחמישה מיליון פריטים. לכן נדרשה דרך ניתנת להרחבה ליצירת מיליוני תוויות באיכות גבוהה לאימון המודל.

כדי לפתור את הבעיה הזו, פיתחנו ב-InstaLILY AI צינור להפקת נתונים סינתטיים רב-שלבי. הצינור משתמש בארכיטקטורה של מורה ותלמיד, כאשר Gemini 2.5 Pro פועל כמודל ה'מורה' כדי ליצור נתוני אימון ברמת הזהב, ומודל Gemma שעבר כוונון עדין פועל כ'תלמיד' כדי לאפשר פריסה של ייצור מדרגי בעלות נמוכה.

הליבה של מנוע החיפוש לחלקים היא מודל רלוונטיות שמקשר בין שאילתה של טכנאי שירות (למשל, מדויק (למשל, "compressor for a Northland refrigerator" (מדחס למקרר Northland) עד למספר החלק המדויק). כדי לאמן את המודל הזה נדרש מערך נתונים עצום של זוגות של חלקי שאילתות.

היו כמה בעיות בשיטות המסורתיות שבהן השתמשו ב-InstaLILY AI:

• יכולת הרחבה: לא היה אפשר לתייג באופן ידני מיליוני שורות של הזמנות עבודה.
• עלות ואיכות: השימוש במודלים אחרים של Frontier לצורך תיוג היה יקר פי שלושה, והוביל לשיעורי הסכמה נמוכים ב-15% בהשוואה לפתרון הסופי.
• ביצועים: חיפוש מבוסס-LLM בזמן אמת יהיה איטי מדי. בבדיקות ראשוניות נמדד זמן אחזור של שתי דקות, ולא ניתן יהיה לטפל ב-500+ שאילתות לשנייה (QPS) הנדרשות בסביבת ייצור.

הם היו צריכים מערכת שיכולה ליצור נתונים באיכות גבוהה בצורה חסכונית, וכך להגיע למודל סופי מהיר ומדויק.

צוות InstaLILY AI תכנן צינור נתונים בן שלושה שלבים שמשתמש ביכולות המתקדמות של Gemini 2.5 Pro לחשיבה רציונלית כדי ליצור תוויות באיכות גבוהה, ואז מזקק את הידע הזה למודלים קטנים ויעילים יותר לצורכי ייצור.

הצינור פועל באופן הבא:

• יצירת נתונים סינתטיים (מודל מורה): Gemini 2.5 Pro יוצר תוויות ברמת הזהב לזוגות של חלקים בשאילתות. כדי להשיג רמת דיוק גבוהה, ה-AI של InstaLILY משתמש בשיטת הניתוח הרב-פרספקטיבית (Multi-CoT), שמנחה את המודל לנתח חלקים מזוויות שונות, כולל מותג, קטגוריה, מפרטים ולוגיקה עסקית מורכבת לצורך תאימות. הגישה הזו השיגה 94% הסכמה עם מומחים אנושיים במערך בדיקה עיוור.
• אימון מודלים של תלמידים: התוויות האיכותיות מ-Gemini 2.5 Pro משמשות לכוונון עדין של Gemma-7B. כדי לבצע אופטימיזציה של המודל לסטודנטים, נעשה שימוש ב-InstaLILY AI בכמה טכניקות, כולל אופטימיזציה ישירה של העדפות (DPO), שהובילה לצמצום של 40% בתוצאות חיוביות שגויות. הם גם יצרו קבוצה של שלוש וריאציות של Gemma שעברו כוונון עדין, שמצביעות על כל דגימה, וכך הגדילו את דיוק התווית ל-96%.
• הצגה בסביבת ייצור: הידע מהמודלים של Gemma מזוקק למודל BERT קל משקל (110 מיליון פרמטרים) עבור סביבת הייצור הסופית. המודל הקטן יותר הזה שומר על דיוק של 89% בציון F1, ומשרת בקשות בקצב של 600 QPS.

"Without LLM’s chain‑of‑thought labeling to bootstrap our distilled model, we’d be hand‑tagging an enormous amount of data," said the InstaLILY AI team. "Gemini האיץ משמעותית את הכנת הנתונים, ואיפשר לנו להקצות מחדש מאות שעות של מהנדסים למשימות חשובות יותר כמו כוונון עדין ותזמור".

ארכיטקטורת המורה-תלמיד הביאה לשיפורים משמעותיים במהירות, בעלות ובדיוק.

המערכת הסופית השיגה:

• קיצור זמן האחזור של השאילתות: מ-2 דקות ל-0.2 שניות (שיפור של 99.8%).
• הפחתת עלויות ההצגה: מ-0.12 $ל-0.002 $לכל 1,000 שאילתות (הפחתה של 98.3%).
• רמת דיוק גבוהה: ציון F1 של ‎~90% במערך נתונים של בדיקה עיוורת.

תהליך הפיתוח הואץ גם כן. הצוות בנה אב טיפוס תוך 48 שעות וצינור נתונים מוכן לייצור תוך ארבעה שבועות – תהליך שלפי ההערכה שלהם היה נמשך שלושה עד ארבעה חודשים ללא מערכת Gemini ו-Gemma.

"ההשתתפות בתוכנית Google Accelerator אפשרה לנו לגבש את הגישה הזו", אומר אמיט שאה, מייסד ומנכ"ל InstaLILY. "התמיכה הטכנית המעשית, הגישה המוקדמת ל-Gemini ול-Gemma והקרדיטים הנדיבים ל-Cloud עזרו לנו לעבור מאב טיפוס לייצור תוך שבועות – ולא חודשים".

חברת InstaLILY AI מתכננת להרחיב את היכולות של סוכני ה-AI שלה על ידי שילוב של התכונות המולטימודאליות של Gemini. כך הטכנאים יכולים להעלות תמונה של יחידה מקולקלת כדי לעזור באבחון. הם גם מפתחים שירות למידה פעילה רציפה שמסמן שאילתות בזמן אמת עם רמת מהימנות נמוכה, מעביר אותן ל-Gemini להוספת הערות ומאמן מחדש את מודלי הייצור מדי שבוע.

ההצלחה של מנוע החיפוש של סוכני ה-AI של InstaLILY AI מדגימה איך ארכיטקטורה של מורה-תלמיד, שמשלבת את יכולת החשיבה הרציונלית של Gemini 2.5 Pro עם היעילות של מודלי Gemma שעברו כוונון עדין, יכולה לפתור אתגרים מורכבים של יצירת נתונים ולאפשר יישומי AI בעלי ביצועים גבוהים וניתנים להרחבה.

כדי להתחיל לפתח באמצעות מודלים של Gemini ו-Gemma, כדאי לקרוא את מאמרי העזרה של ה-API.