Gemini Nano, la versione più piccola della famiglia di modelli Gemini, può essere eseguito on-device su dispositivi Android compatibili, a partire da Google Pixel 8 Pro e Serie Samsung S24.
Per eseguire il modello Gemini Nano su Android, devi utilizzare Google AI Edge SDK per Android, che fornisce API per:
- Determina se il dispositivo Android sottostante è supportato.
- Accedere al modello Gemini Nano.
- Ottimizza le impostazioni di sicurezza.
- Esegui l'inferenza con prestazioni elevate e implementa i fallback.
- Facoltativamente, fornisci un blocco di ottimizzazione LoRA per migliorare le prestazioni del modello specifico per il tuo caso d'uso.
Le API per accedere a Gemini Nano supportano la modalità da testo a testo, con altre in futuro.
Vantaggi dell'esecuzione on-device
L'esecuzione sul dispositivo abilita quanto segue:
- Trattamento locale dei dati sensibili: il trattamento dei dati localmente può aiutarti evitare di inviare i dati utente al cloud. Questo è importante per le app che gestiscono Dati sensibili, ad esempio le app di messaggistica con crittografia end-to-end.
- Accesso offline: gli utenti possono accedere alle funzionalità di IA anche quando non sono a internet. È utile per le applicazioni che devono funzionare offline o con connettività variabile.
- Risparmio sui costi: puoi ridurre i costi di inferenza trasferendo l'esecuzione alle hardware consumer. Ciò può produrre risparmi significativi per le offerte i flussi utente.
L'esecuzione sul dispositivo di Gemini offre molti vantaggi; Tuttavia, per i casi d'uso che richiedono modelli Gemini più grandi e per supportare un'ampia gamma di dispositivi, potresti prendere in considerazione l'utilizzo dell'API Gemini per accedere a Gemini sul server. Tu può farlo tramite l'integrazione backend (con Python, Go, Node.js o REST) oppure direttamente da la tua app Android tramite il nuovo SDK client IA di Google per Android.
Come funziona
L'esecuzione on-device di Gemini Nano è basata su Android AICore, una nuova funzionalità a livello di sistema che fornisce l'accesso ai modelli di base per dell'IA, che è stata introdotta in Android 14. I modelli di base sono preinstallati AICore, quindi non devi scaricarli o distribuirli all'interno della tua app. Tu può ottimizzare questi modelli per le attività downstream utilizzando LoRa. Android AICore corrente ora disponibile in produzione su Google Pixel 8 Pro e Samsung serie S24 e che supporta già funzionalità innovative nelle app Google.
Per maggiori informazioni, vedi Android AICore.
Passaggi successivi
- Per scoprire come sfruttare l'inferenza di Gemini Pro sui server di Google nell'app per Android, leggi la guida rapida l'SDK client IA di Google per Android.