Gemini Nano, la plus petite version de la famille de modèles Gemini, peut être exécuté sur l'appareil sur les appareils Android compatibles, à partir du Google Pixel 8 Pro et Gamme Samsung S24.
Pour exécuter le modèle Gemini Nano sur Android, vous devez utiliser la Le SDK Google AI Edge pour Android fournit des API pour:
- Déterminez si l'appareil Android sous-jacent est pris en charge.
- Accédez au modèle Gemini Nano.
- Réglez les paramètres de sécurité.
- Exécutez des inférences à hautes performances et implémentez des solutions de remplacement.
- Vous pouvez éventuellement fournir un bloc d'affinage LoRA pour améliorer les performances du pour votre cas d'utilisation.
Les API permettant d'accéder à Gemini Nano prennent en charge la modalité texte-vers-texte, ainsi que d'autres modalités à venir.
Avantages de l'exécution sur l'appareil
L'exécution sur l'appareil active les fonctionnalités suivantes:
- Traitement local des données sensibles: le traitement local des données peut vous aider à éviter d'envoyer les données utilisateur vers le cloud. C'est important pour les applications qui gèrent des données sensibles, comme des applications de chat avec chiffrement de bout en bout.
- Accès hors connexion: les utilisateurs peuvent accéder aux fonctionnalités d'IA même de votre connexion Internet. Cela est utile pour les applications qui doivent fonctionner hors connexion ou avec une connectivité variable.
- Économies: vous pouvez réduire les coûts d'inférence en déchargeant l'exécution du matériel grand public. Cela permet de réaliser d'importantes économies flux utilisateur.
L'exécution de Gemini sur l'appareil présente de nombreux avantages : Toutefois, pour les cas d'utilisation nécessitent des modèles Gemini plus grands. Pour être compatible avec une large gamme d'appareils, vous pouvez envisagez d'utiliser l'API Gemini pour accéder à Gemini sur le serveur. Toi par le biais d'une intégration backend (avec Python, Go, Node.js ou REST), ou directement depuis votre application Android via le nouveau SDK client IA de Google pour Android.
Fonctionnement
L'exécution de Gemini Nano sur l'appareil est optimisée par Android AICore, une nouvelle des fonctionnalités système qui permettent d'accéder aux modèles de fondation sur l'appareil d'exécution, introduite dans Android 14. Les modèles de fondation sont préinstallés Vous n'avez donc pas besoin de les télécharger ni de les distribuer dans votre application. Toi vous pouvez affiner ces modèles pour les tâches en aval à l'aide de LoRa. Android AICore est désormais disponible en production sur les appareils Google Pixel 8 Pro et Samsung S24 et propose déjà des fonctionnalités innovantes dans les applications Google.
Pour en savoir plus, consultez Android AICore.
Étape suivante
- Découvrir comment exploiter l'inférence Gemini Pro sur les serveurs de Google dans votre application Android, consultez le guide de démarrage rapide le SDK client Google AI pour Android.