אפשר להריץ מודלים של Gemma במכשיר כולו באמצעות ה-MediaPipe LLM Inference API. LLM Inference API משמש כ-wrapper למודלים גדולים של שפה, ומאפשר לכם להריץ יצירת מודלים של Gemma במכשיר לצורך משימות נפוצות של יצירת טקסט לטקסט, כמו מידע אחזור, טיוטות אימייל וסיכום מסמכים.
כדאי לנסות את LLM Inference API באמצעות MediaPipe Studio, אפליקציה מבוססת-אינטרנט להערכה והתאמה אישית של מודלים במכשיר.
ממשק ה-API להסקת מסקנות (LLM) זמין בפלטפורמות הבאות:
מידע נוסף זמין במאמר הסקת מסקנות מ-MediaPipe LLM תיעוד.