Iniziare a utilizzare Gemini Nano su Android (sul dispositivo)

Gemini Nano, la versione più piccola della famiglia di modelli Gemini, può essere eseguita sul dispositivo su dispositivi Android compatibili a partire da Pixel 8 Pro.

Per eseguire il modello nano Gemini su Android, devi utilizzare l'SDK Edge IA di Google per Android, che fornisce le API per:

  • Determinare se il dispositivo Android sottostante è supportato.
  • Ottieni l'accesso al modello nano Gemini.
  • Ottimizza le impostazioni di sicurezza.
  • Esegui l'inferenza ad alte prestazioni e implementa i fallback.
  • Facoltativamente, fornisci un blocco di ottimizzazione della LoRA per migliorare le prestazioni del modello per il tuo caso d'uso.

Le API per l'accesso a Gemini Nano supportano la modalità da testo a testo, con altre modalità in arrivo in futuro.

Vantaggi dell'esecuzione sul dispositivo

L'esecuzione sul dispositivo consente quanto segue:

  • Trattamento locale dei dati sensibili: il trattamento locale dei dati può aiutarti a evitare di inviare dati utente al cloud. Questo è importante per le app che gestiscono dati sensibili, come le app di messaggistica con crittografia end-to-end.
  • Accesso offline: gli utenti possono accedere alle funzionalità IA anche in assenza di una connessione a internet. È utile per le applicazioni che devono funzionare offline o con connettività variabile.
  • Risparmio sui costi: puoi ridurre i costi di inferenza trasferendo l'esecuzione sull'hardware di consumo. Ciò può generare risparmi significativi per i flussi utente utilizzati di frequente.

L'esecuzione sul dispositivo di Gemini presenta molti vantaggi; tuttavia, per i casi d'uso che richiedono modelli Gemini più grandi e per supportare un'ampia gamma di dispositivi, potresti considerare l'utilizzo dell'API Gemini per accedere a Gemini sul server. Puoi farlo tramite l'integrazione del backend (con Python, Go, Node.js o REST) oppure direttamente dalla tua app per Android tramite il nuovo SDK client dell'IA di Google per Android.

Come funziona

L'esecuzione on-device di Gemini Nano si basa su Android AICore, una nuova funzionalità a livello di sistema che fornisce l'accesso ai modelli di base per l'esecuzione on-device, introdotta con Android 14. I modelli di base sono preinstallati utilizzando AICore, quindi non è necessario scaricarli o distribuirli all'interno dell'app. Puoi ottimizzare questi modelli per le attività downstream utilizzando LoRa. Android AICore è ora disponibile in produzione sui dispositivi Pixel 8 Pro e sta già supportando funzionalità innovative nelle app Google.

Per ulteriori informazioni, vedi Android AICore.

Architettura AICore
Figura 1. Architettura AICore

Passaggi successivi