הפתרון של AI Edge ב-Google Cloud לבדיקה ולהשוואה של למידת מכונה (ML) במכשיר בהיקף נרחב.
אופטימיזציה של ביצועי מודלים ללמידת מכונה במגוון רחב של מכשירים ניידים יכולה להיות מאתגרת. בדיקות ידניות הן איטיות, יקרות ולרוב לא נגישות לרוב המפתחים, מה שמוביל לחוסר ודאות לגבי ביצועי המודל בעולם האמיתי. כדי לפתור את הבעיה הזו, יצרנו את Google AI Edge Portal, שמאפשר להשוות בין מודלים של LiteRT במגוון רחב של מכשירים ניידים, ועוזר למפתחים למצוא את ההגדרות הכי טובות לפריסת מודלים של ML בקנה מידה גדול.
אופטימיזציה של פריסת למידת מכונה בניידים
פישוט והאצת מחזורי בדיקה במגוון רחב של חומרה: הערכת ביצועי המודל במאות מכשירים ניידים מייצגים תוך דקות.
אפשר לוודא באופן יזום את איכות המודל ולזהות בעיות בשלב מוקדם: אפשר לזהות שינויים או רגרסיות בביצועים שספציפיים לחומרה (למשל, בערכות שבבים מסוימות או במכשירים עם מגבלות זיכרון) לפני הפריסה.
הפחתת עלויות הבדיקה של המכשירים וגישה לחומרה העדכנית ביותר: אפשר לבדוק מגוון רחב של מכשירים פיזיים (נכון לעכשיו, יותר מ-100 דגמים של מכשירים מיצרני OEM שונים של Android) שגדל כל הזמן, בלי לשלם על תחזוקה של מעבדה משלכם ובלי להתמודד עם המורכבות של התחזוקה.
קבלת החלטות עסקיות מושכלות ומבוססות-נתונים: פורטל Google AI Edge מספק נתוני ביצועים עשירים והשוואות, ומאפשר לקבל את המידע העסקי החיוני שנדרש כדי לבצע אופטימיזציה של המודל ולוודא שהוא מוכן לפריסה.
דוגמה למחיר מקובל בשוק:
איך Google AI Edge Portal עוזר לכם להשוות בין מודלים של LiteRT
בחירת מכשירים: בוחרים את מכשירי היעד מתוך המאגר הנרחב שלנו באמצעות מסנני חומרה ספציפיים – כולל תמיכה ב-NPU, רמת המכשיר, המותג, ערכת השבבים וזיכרון ה-RAM. לחלופין, אפשר להשתמש בקיצורי הדרך שאצרנו כדי לגשת באופן מיידי לרשימות פופולריות של מכשירים.
יצירת תצורות: בוחרים בין מאיצי CPU, GPU או NPU למשימות ההשוואה.
התאמה אישית מתקדמת: אפשר לשנות הגדרות ספציפיות לחומרה של המאיץ שנבחר או להמשיך עם ערכי ברירת המחדל.
תמיכה ב-NPU: יכולות שיפור המהירות באמצעות חומרה כוללות עכשיו NPUs, עם יותר מ-30 מכשירי Qualcomm.
- קומפילציה מראש (AOT): מומלצת לביצועים ברמת הייצור, ומספקת אתחול מהיר משמעותית ושימוש נמוך יותר בזיכרון שבשימוש. במצב הזה צריך לספק מודלים שעברו קומפילציה לכל SoC ייחודי במכשירים שנבחרו.
- הידור Just-In-Time (JIT): תומך במודל יחיד להידור במכשירים נבחרים.
העלאת מודלים: מעלים את קובץ המודל באמצעות ממשק המשתמש או מציינים את המיקום שלו בקטגוריה של Cloud Storage ב-Google Cloud Storage.
יצירת משימת השוואה חדשה ב-100 מכשירים ומעלה. (הערה: ה-GIF מואץ וערוך כדי שיהיה קצר)
משם, שולחים את העבודה ומחכים לסיום. אחרי שהנתונים מוכנים, אפשר לעיין בתוצאות בלוח הבקרה האינטראקטיבי:
השוואת הגדרות: אפשר לראות במהירות את ההבדלים במדדי הביצועים (למשל, חביון ממוצע, שימוש בזיכרון בשיא) כשמשתמשים במאיצים שונים בכל המכשירים שנבדקו.
ניתוח ההשפעה של המכשיר: אפשר לראות את הביצועים של הגדרה של דגם ספציפי במגוון המכשירים שנבחרו. אפשר להשתמש בהיסטוגרמות ובדיאגרמות פיזור כדי לזהות במהירות שינויים בביצועים שקשורים למאפייני המכשיר.
מדדים מפורטים: גישה לטבלה מפורטת שניתנת למיון, שבה מוצגים מדדים ספציפיים (זמן אתחול, חביון הסקת מסקנות, שימוש בזיכרון) לכל מכשיר בנפרד, לצד מפרטי החומרה שלו. כדי לוודא את ניצול החומרה, אפשר להשתמש בטבלה Accelerator Allocation (הקצאת מאיץ). הטבלה מציגה את אופן חלוקת פעולות המודל בין ליבות (זמינה למעבד ול-GPU, ותמיכה ב-NPU תהיה זמינה בקרוב).
הצגת תוצאות ההשוואה בלוח הבקרה האינטראקטיבי. (הערה: ה-GIF מואץ וערוך כדי שיהיה קצר)
הצטרפות לגרסת טרום-השקה פרטית של Google AI Edge Portal
פורטל Google AI Edge זמין בגרסת טרום-השקה פרטית ללקוחות Google Cloud שנכללים ברשימת ההיתרים. במהלך תקופת התצוגה המקדימה הפרטית, הגישה ניתנת ללא תשלום, בכפוף לתנאי התצוגה המקדימה.
הגרסה הזו מתאימה במיוחד למפתחים ולצוותים שיוצרים אפליקציות ML לנייד באמצעות LiteRT, שזקוקים לנתוני השוואה מהימנים במגוון רחב של חומרת Android, ומוכנים לספק משוב כדי לעזור בעיצוב העתיד של המוצר. כדי לבקש גישה, ממלאים את טופס ההרשמה הזה. הגישה ניתנת באמצעות הוספה לרשימת ההיתרים.