Gemini Nano, la versione più piccola della famiglia di modelli Gemini, può essere eseguito sul dispositivo su dispositivi Android compatibili a partire da Google Pixel 8 Pro e dalla serie Samsung S24.
Per eseguire il modello Gemini Nano su Android, devi utilizzare l'SDK Google AI Edge per Android, che fornisce API per:
- Determina se il dispositivo Android di base è supportato.
- Accedi al modello Gemini Nano.
- Modifica le impostazioni di sicurezza.
- Esegui l'inferenza ad alte prestazioni e implementa i fallback.
- Se vuoi, fornisci un blocco di ottimizzazione fine LoRA per migliorare il rendimento del modello per il tuo caso d'uso.
Le API per accedere a Gemini Nano supportano la modalità di conversione da testo a testo, ma in futuro saranno disponibili altre modalità.
Vantaggi dell'esecuzione sul dispositivo
L'esecuzione sul dispositivo consente quanto segue:
- Elaborazione locale di dati sensibili: l'elaborazione locale dei dati può aiutarti a evitare di inviare dati utente al cloud. Questo è importante per le app che gestiscono dati sensibili, ad esempio le app di messaggistica con crittografia end-to-end.
- Accesso offline: gli utenti possono accedere alle funzionalità di IA anche in assenza di connessione a internet. Questo è utile per le applicazioni che devono funzionare offline o con connettività variabile.
- Risparmio sui costi: puoi ridurre i costi di inferenza eseguendo il offload dell'esecuzione sull'hardware consumer. Ciò può produrre risparmi significativi per i flussi di utenti utilizzati di frequente.
L'esecuzione di Gemini sul dispositivo presenta molti vantaggi. Tuttavia, per i casi d'uso che richiedono modelli Gemini più grandi e per supportare un'ampia gamma di dispositivi, ti consigliamo di utilizzare l'API Gemini per accedere a Gemini sul server. Puoi farlo tramite l'integrazione di backend (con Python, Go, Node.js o REST) o direttamente dalla tua app per Android tramite il nuovo SDK client per l'AI di Google per Android.
Come funziona
L'esecuzione on-device di Gemini Nano è basata su Android AICore, una nuova funzionalità a livello di sistema che fornisce l'accesso ai modelli di base per l'esecuzione on-device, introdotta in Android 14. I modelli di base sono preinstallati utilizzando AICore, quindi non devi scaricarli o distribuirli all'interno della tua app. Puoi perfezionare questi modelli per le attività a valle utilizzando LoRa. Android AICore è ora disponibile in produzione sui dispositivi Google Pixel 8 Pro e Samsung S24 Series e supporta già funzionalità innovative nelle app Google.
Per ulteriori informazioni, vedi Android AICore.
Passaggi successivi
- Per scoprire come sfruttare l'inferenza di Gemini Pro sui server di Google nella tua app per Android, leggi la guida introduttiva per l'SDK client Google AI per Android.