אפשר להריץ מודלים של Gemma ישירות במכשיר באמצעות MediaPipe LLM Inference API. ה-LLM Inference API משמש כ-wrapper של מודלים גדולים של שפה, ומאפשר להריץ מודלים של Gemma במכשיר למשימות נפוצות של יצירת טקסט לטקסט כמו אחזור מידע, ניסוח אימיילים וסיכום מסמכים.
אנחנו מזמינים אתכם לנסות את LLM Inference API עם MediaPipe Studio, אפליקציה מבוססת-אינטרנט להערכה ולהתאמה אישית של מודלים במכשיר.
LLM Inference API זמין בפלטפורמות הבאות:
למידע נוסף, עיינו במסמכי התיעוד בנושא תובנות LLM של MediaPipe.