Gemini Nano, la versione più piccola della famiglia di modelli Gemini, può essere eseguito sul dispositivo su dispositivi Android compatibili a partire da Google Pixel 8 Pro e Samsung Series S24.
Per eseguire il modello Gemini Nano su Android, devi utilizzare l'SDK Google AI Edge per Android, che fornisce API per:
- Determinare se il dispositivo Android sottostante è supportato.
- Ottieni l'accesso al modello Gemini Nano.
- Ottimizza le impostazioni di sicurezza.
- Esegui l'inferenza ad alte prestazioni e implementa i fallback.
- Facoltativamente, fornisci un blocco di ottimizzazione LoRA per migliorare le prestazioni del modello per il tuo caso d'uso.
Le API per l'accesso a Gemini Nano supportano la modalità da testo a testo, ma ulteriori modalità saranno disponibili in futuro.
Vantaggi dell'esecuzione sul dispositivo
L'esecuzione sul dispositivo consente di:
- Trattamento locale dei dati sensibili: il trattamento locale dei dati può aiutarti a evitare di inviare dati utente al cloud. Questo è importante per le app che gestiscono dati sensibili, ad esempio le app di messaggistica con crittografia end-to-end.
- Accesso offline: gli utenti possono accedere alle funzionalità IA anche in assenza di una connessione a internet. È utile per le applicazioni che devono funzionare offline o con connettività variabile.
- Risparmio sui costi: puoi ridurre i costi di inferenza trasferendo l'esecuzione all'hardware consumer. Ciò può produrre risparmi significativi per i flussi utente utilizzati di frequente.
L'esecuzione on-device di Gemini presenta molti vantaggi; tuttavia, per i casi d'uso che richiedono modelli Gemini più grandi e per supportare un'ampia gamma di dispositivi, puoi considerare l'utilizzo dell'API Gemini per accedere a Gemini sul server. Puoi farlo tramite l'integrazione del backend (con Python, Go, Node.js o REST) o direttamente dalla tua app per Android mediante il nuovo SDK client dell'IA di Google per Android.
Come funziona
L'esecuzione on-device di Gemini Nano si basa su Android AICore, una nuova funzionalità a livello di sistema che fornisce l'accesso a modelli di base per l'esecuzione on-device, introdotta in Android 14. I modelli di base sono preinstallati utilizzando AICore, quindi non è necessario scaricarli o distribuirli all'interno dell'app. Puoi ottimizzare questi modelli per le attività downstream utilizzando LoRa. Android AICore è ora disponibile in produzione sui dispositivi Google Pixel 8 Pro e Samsung serie S24 e sta già supportando funzionalità innovative nelle app Google.
Per ulteriori informazioni, vedi Android AICore.
Passaggi successivi
Per iniziare a utilizzare Gemini Nano sul dispositivo con la tua app, richiedi la nostra anteprima per l'accesso in anteprima dell'SDK Google AI Edge per Android.
Per scoprire come sfruttare l'inferenza Gemini Pro sui server di Google nella tua app per Android, leggi la guida rapida per l'SDK client dell'IA di Google per Android.