‫InstaLILY: מנוע חיפוש לארגונים עם יכולות של AI אקטיבי, שמבוסס על Gemini

סוכני AI ארגוניים שמבצעים אוטומציה של תהליכי עבודה מורכבים, כמו מכירות B2B או תחזוקה תעשייתית, דורשים מודלים שאומנו על כמויות גדולות של נתונים איכותיים וספציפיים לתחום. עבור חברות רבות, יצירת הנתונים האלה היא צוואר בקבוק עיקרי, כי תיוג ידני הוא תהליך איטי ויקר, ומודלים גנריים עלולים להיות חסרים את הניואנסים הנדרשים.

‫InstaLILY AI היא פלטפורמה ארגונית לסוכני AI אוטונומיים וספציפיים לתעשייה, שעוזרת לחברות להפוך לאוטומטיים תהליכי עבודה מורכבים במכירות, בשירות ובתפעול. אחד הלקוחות שלהם, PartsTown, ביקש לבנות מנוע חיפוש בזמן אמת לסוכני AI, כדי להתאים באופן מיידי בין טכנאי שטח לבין חלקי חילוף ספציפיים מתוך קטלוג של יותר מחמישה מיליון פריטים. לכן נדרש פתרון שניתן להתאמה כדי ליצור מיליוני תוויות באיכות גבוהה לאימון המודל.

כדי לפתור את הבעיה הזו, פיתחנו ב-InstaLILY AI צינור לעיבוד נתונים סינתטיים רב-שלבי. הצינור משתמש בארכיטקטורה של מורה-תלמיד, כאשר Gemini 2.5 Pro פועל כמודל ה'מורה' כדי ליצור נתוני אימון ברמת הזהב, ומודל Gemma שעבר כוונון עדין פועל כ'תלמיד' כדי לאפשר פריסה של ייצור מדרגי בעלות נמוכה.

הליבה של מנוע החיפוש לחלקים היא מודל רלוונטיות שמקשר בין שאילתה של טכנאי שירות (לדוגמה, "compressor for a Northland refrigerator") to the exact part number. כדי לאמן את המודל הזה נדרש מערך נתונים עצום של זוגות של חלקי שאילתות.

היו כמה בעיות בשיטות המסורתיות שבהן השתמשו ב-InstaLILY AI:

• יכולת הרחבה: לא היה אפשר לתייג באופן ידני מיליוני שורות של הזמנות עבודה.
• עלות ואיכות: השימוש במודלים אחרים של Frontier לצורך תיוג היה יקר פי שלושה, והוביל לשיעורי הסכמה נמוכים ב-15% בהשוואה לפתרון הסופי.
• ביצועים: חיפוש בזמן אמת שמבוסס על LLM יהיה איטי מדי. בבדיקות ראשוניות נמדד זמן אחזור של שתי דקות, ולא הייתה אפשרות לטפל ב-500+ שאילתות לשנייה (QPS) הנדרשות בסביבת ייצור.

הם היו צריכים מערכת שיכולה ליצור נתונים באיכות גבוהה בצורה חסכונית, וכך להגיע למודל סופי מהיר ומדויק.

ב-InstaLILY AI תכננו צינור נתונים בן שלושה שלבים שמשתמש ביכולות המתקדמות של Gemini 2.5 Pro לחשיבה רציונלית כדי ליצור תוויות באיכות גבוהה, ואז מזקק את הידע הזה למודלים קטנים ויעילים יותר לצורכי ייצור.

הצינור פועל באופן הבא:

• יצירת נתונים סינתטיים (מודל מורה): Gemini 2.5 Pro יוצר תוויות ברמת הזהב לזוגות של חלקים בשאילתות. כדי להשיג רמת דיוק גבוהה, ה-AI של InstaLILY משתמש בשיטת הניתוח 'שרשרת מחשבות מרובת-היבטים' (Multi-CoT). השיטה הזו מנחה את המודל לנתח חלקים מזוויות שונות, כולל מותג, קטגוריה, מפרטים ולוגיקה עסקית מורכבת לצורך תאימות. הגישה הזו השיגה 94% הסכמה עם מומחים אנושיים במערך בדיקה עיוור.
• אימון מודלים של תלמידים: התוויות האיכותיות מ-Gemini 2.5 Pro משמשות לכוונון עדין של Gemma-7B. כדי לבצע אופטימיזציה של המודל לתלמידים, נעשה שימוש ב-InstaLILY AI בכמה טכניקות, כולל אופטימיזציה ישירה של העדפות (DPO), שהפחיתה את התוצאות החיוביות השגויות ב-40%. הם גם יצרו קבוצה של שלוש וריאציות של Gemma שעברו כוונון עדין, שמצביעות על כל דגימה, וכך דיוק התווית עלה ל-96%.
• הצגה בסביבת ייצור: הידע מהמודלים של Gemma מזוקק למודל BERT קל משקל (110 מיליון פרמטרים) עבור סביבת הייצור הסופית. המודל הקטן יותר הזה שומר על דיוק של 89% בציון F1, ומציג תשובות לבקשות בקצב של 600 QPS.

"בלי התיוג של שרשרת המחשבות של ה-LLM כדי לאתחל את המודל המזוקק שלנו, היינו מתייגים ידנית כמות עצומה של נתונים", אומר צוות ה-AI של InstaLILY. ‫"Gemini האיץ באופן משמעותי את הכנת הנתונים, ואיפשר לנו להקצות מחדש מאות שעות של מהנדסים למשימות חשובות יותר כמו כוונון עדין ותזמור".

הארכיטקטורה של מורה-תלמיד הביאה לשיפורים משמעותיים במהירות, בעלות ובדיוק.

המערכת הסופית שהתקבלה:

• קיצור זמן האחזור של השאילתות: מ-2 דקות ל-0.2 שניות (שיפור של 99.8%).
• הפחתת עלויות ההצגה: מ-0.12 $ל-0.002 $לכל 1,000 שאילתות (הפחתה של 98.3%).
• רמת דיוק גבוהה: ציון F1 של ‎~90% במערך נתונים של בדיקה עיוורת.

תהליך הפיתוח הואץ גם כן. הצוות בנה אב טיפוס תוך 48 שעות וצינור נתונים מוכן לייצור תוך ארבעה שבועות – תהליך שלפי ההערכה היה נמשך שלושה עד ארבעה חודשים ללא מערכת Gemini ו-Gemma.

"ההשתתפות בתוכנית Google Accelerator אפשרה לנו לגבש את הגישה הזו", אומר אמיט שאה, מייסד ומנכ"ל InstaLILY. "התמיכה הטכנית המעשית, הגישה המוקדמת ל-Gemini ול-Gemma והקרדיטים הנדיבים ל-Cloud עזרו לנו לעבור מאב טיפוס לייצור תוך שבועות – ולא חודשים".

חברת InstaLILY AI מתכננת להרחיב את היכולות של סוכני ה-AI שלה על ידי שילוב של התכונות המולטימודאליות של Gemini. כך הטכנאים יכולים להעלות תמונה של יחידה שבורה כדי לעזור באבחון. הם גם מפתחים שירות למידה פעילה רציפה שמסמן שאילתות לייב עם רמת מהימנות נמוכה, מעביר אותן ל-Gemini להוספת הערות ומאמן מחדש את מודלי הייצור מדי שבוע.

ההצלחה של מנוע החיפוש של סוכני ה-AI של InstaLILY AI מוכיחה שאפשר לפתור אתגרים מורכבים של יצירת נתונים ולאפשר יישומי AI בעלי ביצועים גבוהים וניתנים להרחבה באמצעות ארכיטקטורה של מורה-תלמיד, שמשלבת את יכולת החשיבה הרציונלית של Gemini 2.5 Pro עם היעילות של מודלי Gemma שעברו כוונון עדין.

כדי להתחיל לפתח באמצעות מודלים של Gemini ו-Gemma, כדאי לקרוא את מאמרי העזרה של ה-API.