את Gemini Nano, הגרסה הקטנה ביותר של משפחת הדגמים של Gemini, אפשר להפעיל אותה במכשיר במכשירי Android תואמים שמתחילים ב-Google Pixel 8 Pro וב-Samsung S24 Series.
כדי להפעיל את מודל Gemini Nano ב-Android, צריך להשתמש ב-Google AI Edge SDK ל-Android, שמספק ממשקי API כדי:
- בודקים אם המכשיר הבסיסי של Android נתמך.
- קבלת גישה לדגם Gemini Nano.
- כוונון הגדרות הבטיחות.
- הפעלת הסקת מסקנות בביצועים גבוהים והטמעה של חלופות.
- לחלופין, אפשר לספק בלוק כוונון של LoRA לשיפור הביצועים של המודל, בתרחיש לדוגמה שלכם.
ממשקי ה-API לגישה ל-Gemini Nano תומכים במודליות של טקסט לטקסט, ובעתיד נוסיף עוד שיטות.
יתרונות הביצוע במכשיר
הפעלה במכשיר מאפשרת:
- עיבוד מקומי של מידע אישי רגיש: עיבוד מקומי של נתונים יכול לעזור לכם להימנע משליחת נתוני משתמשים לענן. חשוב לציין את זה באפליקציות שמטפלות במידע אישי רגיש, כמו אפליקציות להעברת הודעות עם הצפנה מקצה לקצה.
- גישה אופליין: המשתמשים יכולים לגשת לתכונות ה-AI גם אם אין חיבור לאינטרנט. זה שימושי לאפליקציות שצריכות לעבוד אופליין או עם קישוריות משתנה.
- חיסכון בעלויות: תוכלו להפחית את העלויות של הסקת המידע על ידי העברת הביצוע לחומרה של הצרכן. כך תוכלו לחסוך באופן משמעותי לתהליכי העבודה של המשתמשים לעיתים קרובות.
להרצה של Gemini במכשיר יש יתרונות רבים. עם זאת, בתרחישים לדוגמה שדורשים דגמים גדולים יותר של Gemini וכדי לתמוך במגוון רחב של מכשירים, כדאי להשתמש ב-Gemini API כדי לגשת ל-Gemini בשרת. אפשר לעשות זאת באמצעות שילוב לקצה העורפי (עם Python, Go, Node.js או REST) או ישירות מהאפליקציה ל-Android באמצעות Google AI Client SDK ל-Android.
איך זה עובד
הביצוע של Gemini Nano במכשיר מבוסס על Android AICore, יכולת חדשה ברמת המערכת שנותנת גישה למודלים בסיסיים להפעלה במכשיר, שהושקה ב-Android 14. מודלים בסיסיים מותקנים מראש באמצעות AICore, כך שלא צריך להוריד או להפיץ אותם באפליקציה, אבל אפשר לכוונן אותם למשימות downstream באמצעות LoRa. טכנולוגיית Android AICore זמינה עכשיו בסביבת הייצור במכשירי Google Pixel 8 Pro ו-Samsung S24 מסדרה, והיא כבר מספקת תכונות חדשניות באפליקציות של Google.
מידע נוסף זמין במאמר Android AICore.
מה עושים אחר כך
כדי להתחיל להשתמש ב-Gemini Nano במכשיר באפליקציה, צריך לשלוח בקשת הצטרפות לתצוגה המקדימה של הגישה המוקדמת של Google AI Edge SDK ל-Android.
על מנת לדעת איך להפיק תועלת מההסקה של Gemini Pro בשרתים של Google באפליקציה ל-Android, כדאי לקרוא את המדריך למתחילים של Google AI Client SDK ל-Android.