Gemini Nano, la versione più piccola della famiglia di modelli Gemini, può essere eseguito sul dispositivo su dispositivi Android compatibili a partire da Google Pixel 8 Pro e Samsung Series S24.
Per eseguire il modello Gemini Nano su Android, devi utilizzare l'SDK Google AI Edge per Android, che fornisce API per:
- Determinare se il dispositivo Android sottostante è supportato.
- Ottieni l'accesso al modello Gemini Nano.
- Ottimizza le impostazioni di sicurezza.
- Esegui l'inferenza ad alte prestazioni e implementa i fallback.
- Facoltativamente, fornisci un blocco di ottimizzazione LoRA per migliorare le prestazioni del modello per il tuo caso d'uso.
Le API per l'accesso a Gemini Nano supportano la modalità da testo a testo, ma ulteriori modalità saranno disponibili in futuro.
Vantaggi dell'esecuzione sul dispositivo
L'esecuzione sul dispositivo consente di:
- Trattamento locale dei dati sensibili: il trattamento locale dei dati può aiutarti a evitare di inviare dati utente al cloud. Questo è importante per le app che gestiscono dati sensibili, ad esempio le app di messaggistica con crittografia end-to-end.
- Accesso offline: gli utenti possono accedere alle funzionalità IA anche in assenza di una connessione a internet. È utile per le applicazioni che devono funzionare offline o con connettività variabile.
- Risparmio sui costi: puoi ridurre i costi di inferenza trasferendo l'esecuzione all'hardware consumer. Ciò può produrre risparmi significativi per i flussi utente utilizzati di frequente.
L'esecuzione on-device di Gemini presenta molti vantaggi; tuttavia, per i casi d'uso che richiedono modelli Gemini più grandi e per supportare un'ampia gamma di dispositivi, puoi considerare l'utilizzo dell'API Gemini per accedere a Gemini sul server. Puoi farlo tramite l'integrazione del backend (con Python, Go, Node.js o REST) o direttamente dalla tua app per Android mediante il nuovo SDK client dell'IA di Google per Android.
Come funziona
L'esecuzione on-device di Gemini Nano si basa su Android AICore, una nuova funzionalità a livello di sistema che fornisce l'accesso a modelli di base per l'esecuzione on-device, introdotta in Android 14. I modelli di base sono preinstallati utilizzando AICore, quindi non è necessario scaricarli o distribuirli all'interno dell'app. Puoi ottimizzare questi modelli per le attività downstream utilizzando LoRa. Android AICore è ora disponibile in produzione sui dispositivi Google Pixel 8 Pro e Samsung serie S24 e sta già supportando funzionalità innovative nelle app Google.
Per ulteriori informazioni, vedi Android AICore.
Passaggi successivi
- Per scoprire come sfruttare l'inferenza Gemini Pro sui server di Google nella tua app per Android, leggi la guida rapida per l'SDK client dell'IA di Google per Android.