Gemini Nano, la plus petite version de la famille de modèles Gemini, peut être exécutée sur l'appareil sur les appareils Android compatibles à partir du Google Pixel 8 Pro et de la série Samsung S24.
Pour exécuter le modèle Gemini Nano sur Android, vous devez utiliser le SDK Google AI Edge pour Android, qui fournit des API pour:
- Déterminez si l'appareil Android sous-jacent est compatible.
- Accédez au modèle Gemini Nano.
- Ajustez les paramètres de sécurité.
- Exécutez l'inférence à hautes performances et implémentez des solutions de secours.
- Si vous le souhaitez, fournissez un bloc de réglage fin LoRA pour améliorer les performances du modèle pour votre cas d'utilisation.
Les API permettant d'accéder à Gemini Nano sont compatibles avec la modalité texte-texte, et d'autres modalités seront disponibles à l'avenir.
Avantages de l'exécution sur l'appareil
L'exécution sur l'appareil permet les opérations suivantes:
- Traitement local des données sensibles: traiter les données localement peut vous aider à éviter d'envoyer des données utilisateur dans le cloud. Cela est important pour les applications qui gèrent des données sensibles, comme les applications de messagerie avec chiffrement de bout en bout.
- Accès hors connexion: les utilisateurs peuvent accéder aux fonctionnalités d'IA même en l'absence de connexion Internet. Cela est utile pour les applications qui doivent fonctionner hors connexion ou avec une connectivité variable.
- Économies de coûts: vous pouvez réduire les coûts d'inférence en transférant l'exécution vers du matériel grand public. Cela peut générer des économies importantes pour les flux utilisateur fréquemment utilisés.
L'exécution de Gemini sur l'appareil présente de nombreux avantages. Toutefois, pour les cas d'utilisation qui nécessitent des modèles Gemini plus volumineux et pour prendre en charge un large éventail d'appareils, vous pouvez envisager d'utiliser l'API Gemini pour accéder à Gemini sur le serveur. Vous pouvez le faire via une intégration backend (avec Python, Go, Node.js ou REST) ou directement depuis votre application Android via le nouveau SDK client Google AI pour Android.
Fonctionnement
L'exécution sur l'appareil de Gemini Nano est optimisée par Android AICore, une nouvelle fonctionnalité au niveau du système qui fournit un accès aux modèles de fondation pour l'exécution sur l'appareil, introduite dans Android 14. Les modèles de base sont préinstallés à l'aide d'AICore. Vous n'avez donc pas besoin de les télécharger ni de les distribuer dans votre application. Vous pouvez affiner ces modèles pour les tâches en aval à l'aide de LoRa. Android AICore est désormais disponible en production sur les appareils Google Pixel 8 Pro et Samsung S24 Series, et alimente déjà des fonctionnalités innovantes dans les applications Google.
Pour en savoir plus, consultez Android AICore.
Étape suivante
- Pour savoir comment exploiter l'inférence Gemini Pro sur les serveurs de Google dans votre application Android, consultez le guide de démarrage rapide du SDK client Google AI pour Android.