אפשר להריץ את Gemini Nano, הגרסה הקטנה ביותר של משפחת המודלים של Gemini, במכשירי Android מתאימים, החל מ-Google Pixel 8 Pro ומסדרת Samsung S24.
כדי להריץ את מודל Gemini Nano ב-Android, צריך להשתמש ב-Google AI Edge SDK for Android, שמספק ממשקי API ל:
- בודקים אם המכשיר עם Android שעליו מבוססת ההתקנה נתמך.
- גישה למודל Gemini Nano.
- לשנות את הגדרות הבטיחות.
- הפעלת הסקת מסקנות עם ביצועים גבוהים והטמעת חלופות.
- אפשר גם לספק בלוק של LoRA לכוונון עדין כדי לשפר את הביצועים של המודל בתרחיש לדוגמה.
ממשקי ה-API לגישה ל-Gemini Nano תומכים במודל 'טקסט לטקסט', ובעתיד נוסיף עוד מודלים.
היתרונות של ביצוע פעולות במכשיר
ביצוע במכשיר מאפשר את הפעולות הבאות:
- עיבוד מקומי של מידע אישי רגיש: עיבוד נתונים באופן מקומי יכול לעזור לכם להימנע משליחת נתוני משתמשים לענן. זה חשוב לאפליקציות שמטפלות בנתונים רגישים, כמו אפליקציות הודעות עם הצפנה מקצה לקצה.
- גישה אופליין: המשתמשים יכולים לגשת לתכונות ה-AI גם כשאין חיבור לאינטרנט. האפשרות הזו שימושית לאפליקציות שצריכות לפעול אופליין או עם קישוריות משתנה.
- חיסכון בעלויות: אפשר להפחית את עלויות ההסקה על ידי העברת הביצועים לחומרה של הצרכן. כך אפשר לחסוך משמעותית בתהליכי משתמש שנמצאים בשימוש תדיר.
להרצה של Gemini במכשיר יש יתרונות רבים, אבל בתרחישי שימוש שבהם נדרשים מודלים גדולים יותר של Gemini, וכדי לתמוך במגוון רחב של מכשירים, כדאי לשקול להשתמש ב-Gemini API כדי לגשת ל-Gemini בשרת. אפשר לעשות זאת באמצעות שילוב בקצה העורפי (עם Python, Go, Node.js או REST) או ישירות מאפליקציית Android באמצעות Google AI client SDK for Android החדש.
איך זה עובד
ההפעלה של Gemini Nano במכשיר מתבצעת באמצעות Android AICore, יכולת חדשה ברמת המערכת שנוספה ב-Android 14 ומספקת גישה למודלים בסיסיים להפעלה במכשיר. מודלים בסיס מותקנים מראש באמצעות AICore, כך שאין צורך להוריד אותם או להפיץ אותם באפליקציה. אפשר לשפר את המודלים האלה למשימות downstream באמצעות LoRa. Android AICore זמין עכשיו בסביבת הייצור במכשירי Google Pixel 8 Pro ובמכשירים מסדרת Samsung S24, והוא כבר מניע תכונות חדשניות באפליקציות של Google.
מידע נוסף זמין במאמר Android AICore.
המאמרים הבאים
- כדי ללמוד איך להשתמש בהסקה של Gemini Pro בשרתים של Google באפליקציה ל-Android, כדאי לקרוא את מדריך למתחילים בנושא Google AI client SDK ל-Android.