אפשר להפעיל את Gemini Nano, הגרסה הקטנה ביותר של משפחת המודלים של Gemini במכשיר במכשירי Android מתקדמים, עם החל מ-Google Pixel 8 Pro Samsung S24 Series.
כדי להפעיל את המודל Gemini Nano ב-Android, צריך להשתמש Google AI Edge SDK ל-Android, שמספק ממשקי API כדי:
- בודקים אם יש תמיכה במכשיר הבסיסי מבוסס-Android.
- קבלת גישה למודל Gemini Nano.
- כוונון הגדרות הבטיחות.
- מריצים מסקנות עם ביצועים גבוהים ומטמיעים חלופות.
- לחלופין, אפשר לספק בלוק כוונון של LoRA כדי לשפר את הביצועים של התרחיש לדוגמה המבוקש.
ממשקי ה-API לגישה ל-Gemini Nano תומכים במודלים של טקסט לטקסט, ועוד בעתיד.
היתרונות של הפעלה במכשיר
ביצוע במכשיר מאפשר:
- עיבוד מקומי של מידע אישי רגיש: עיבוד נתונים באופן מקומי יכול לעזור לכם להימנע משליחת נתוני משתמשים לענן. הפעולה הזו חשובה לאפליקציות שמטפלות מידע אישי רגיש, כמו אפליקציות הודעות עם הצפנה מקצה לקצה.
- גישה אופליין: המשתמשים יכולים לגשת לתכונות מבוססות-AI גם כשאין חיבור לאינטרנט. האפשרות הזו שימושית לאפליקציות שצריכות לפעול אופליין או עם קישוריות משתנה.
- חיסכון בעלויות: אפשר להפחית את עלויות ההסקה על ידי הורדת הביצוע חומרה לצרכן. הדבר יכול להפיק חיסכון משמעותי במקרים של שימוש תדיר של המשתמשים.
יש הרבה יתרונות להפעלה של Gemini במכשיר. אבל בתרחישים לדוגמה מחייבים מודלים גדולים יותר של Gemini, וכדי לתמוך במגוון רחב של מכשירים, אני רוצה להשתמש ב-Gemini API כדי לגשת ל-Gemini בשרת. שלך יכולות לעשות זאת באמצעות אינטגרציה בקצה העורפי (עם Python, Go , Node.js או REST) או ישירות מ- לאפליקציה ל-Android דרך SDK של לקוח AI מבית Google ל-Android.
איך זה עובד
הביצוע של Gemini Nano במכשיר מבוסס על Android AICore, כלי חדש יכולת ברמת המערכת שמספקת גישה למודלים בסיסיים במכשיר הפעלה, שהושק ב-Android 14. מודלים בסיסיים מותקנים מראש באמצעות AICore, כך שאין צורך להוריד או להפיץ אותם בתוך האפליקציה. שלך הוא יכול לשפר את המודלים האלה למשימות downstream באמצעות LoRa. Android AICore הוא זמין עכשיו בסביבת ייצור במכשירי Google Pixel 8 Pro ו-Samsung S24 Series וכבר מפעילים תכונות חדשניות ב-Google Apps.
למידע נוסף, ראו Android AICore.
המאמרים הבאים
- כדי ללמוד איך לנצל את המסקנות של Gemini Pro בשרתים של Google באפליקציה ל-Android, קראו את המדריך למתחילים Google AI Client SDK ל-Android.