פריסת Gemma במכשירים ניידים

במסמך הזה מפורטות שיטות וכלים שונים לפריסה ולהרצה של מודלים של Gemma במכשירים ניידים, כולל שימוש באפליקציית Google AI Edge Gallery וב-MediaPipe LLM Inference API.

מידע על המרת מודל Gemma שעבר כוונון עדין לגרסת LiteRT זמין במדריך ההמרה.

כדי לראות את ממשקי ה-API של LLM Inference בפעולה ולבדוק את מודל Task Bundle, אפשר להשתמש באפליקציית Google AI Edge Gallery. האפליקציה הזו מספקת ממשק משתמש לאינטראקציה עם מודלים של LLM במכשיר, ומאפשרת לכם:

  • ייבוא מודלים: טוענים את מודלי .task המותאמים אישית לאפליקציה.
  • הגדרת פרמטרים: שינוי הגדרות כמו טמפרטורה ו-top-k.
  • יצירת טקסט: מזינים הנחיות ורואים את התשובות של המודל.
  • בדיקת הביצועים: הערכת המהירות והדיוק של המודל.

לקבלת מדריך מפורט על השימוש באפליקציית Google AI Edge Gallery, כולל הוראות לייבוא מודלים משלכם, אפשר לעיין בתיעוד של האפליקציה.

MediaPipe LLM

אפשר להריץ מודלים של Gemma במכשירים ניידים באמצעות MediaPipe LLM Inference API. ‫LLM Inference API משמש כעטיפה למודלים גדולים של שפה, ומאפשר להריץ מודלים של Gemma במכשיר כדי לבצע משימות נפוצות של יצירת טקסט מטקסט, כמו אחזור מידע, טיוטת אימייל וסיכום מסמכים.

ה-API של LLM Inference זמין בפלטפורמות הניידות הבאות:

מידע נוסף מופיע במסמכי התיעוד בנושא MediaPipe LLM Inference.