Gemini Nano, la plus petite version de la famille de modèles Gemini, peut être exécutée sur l'appareil sur les appareils Android compatibles à partir des Google Pixel 8 Pro et Samsung série S24.
Pour exécuter le modèle Gemini Nano sur Android, vous devez utiliser le SDK Google AI Edge pour Android, qui fournit des API permettant de:
- déterminer si l'appareil Android sous-jacent est pris en charge ;
- Accéder au modèle Gemini Nano.
- Réglez les paramètres de sécurité.
- Exécutez des inférences avec des performances élevées et implémentez des solutions de secours.
- Vous pouvez éventuellement fournir un bloc d'ajustement LoRA pour améliorer les performances du modèle pour votre cas d'utilisation.
Les API permettant d'accéder à Gemini Nano prennent en charge la modalité texte-vers-texte, d'autres modalités à venir.
Avantages de l'exécution sur l'appareil
L'exécution sur l'appareil permet d'effectuer les opérations suivantes:
- Traitement local des données sensibles: le traitement local des données peut vous aider à éviter d'envoyer des données utilisateur dans le cloud. Cela est important pour les applications qui gèrent des données sensibles, telles que les applications de chat avec chiffrement de bout en bout.
- Accès hors connexion: les utilisateurs peuvent accéder aux fonctionnalités d'IA même sans connexion Internet. Cela est utile pour les applications qui doivent fonctionner hors connexion ou avec une connectivité variable.
- Économies: vous pouvez réduire les coûts d'inférence en déchargeant l'exécution sur le matériel grand public. Cela peut permettre de réaliser des économies considérables pour les parcours utilisateur fréquemment utilisés.
L'exécution de Gemini sur l'appareil présente de nombreux avantages. Toutefois, pour les cas d'utilisation qui nécessitent des modèles Gemini plus volumineux et pour assurer la compatibilité avec un large éventail d'appareils, vous pouvez envisager d'utiliser l'API Gemini pour accéder à Gemini sur le serveur. Vous pouvez le faire via l'intégration du backend (avec Python, Go, Node.js ou REST) ou directement depuis votre application Android via le nouveau SDK client Google AI pour Android.
Comment ça marche ?
L'exécution sur appareil de Gemini Nano est basée sur Android AICore, une nouvelle fonctionnalité au niveau du système qui donne accès aux modèles de fondation pour l'exécution sur l'appareil, introduite dans Android 14. Les modèles de fondation sont préinstallés via AICore. Vous n'avez donc pas besoin de les télécharger ni de les distribuer dans votre application. Vous pouvez les affiner pour les tâches en aval à l'aide de LoRa. Android AICore est désormais disponible en production sur les appareils Google Pixel 8 Pro et Samsung S24, et propose déjà des fonctionnalités innovantes dans les applications Google.
Pour en savoir plus, consultez Android AICore.
Étapes suivantes
Pour commencer à utiliser Gemini Nano sur l'appareil avec votre application, demandez à participer à notre aperçu en accès anticipé du SDK Google AI Edge pour Android.
Pour découvrir comment exploiter l'inférence Gemini Pro sur les serveurs de Google dans votre application Android, consultez le guide de démarrage rapide du SDK client Google AI pour Android.