Gemini Nano, la versión más pequeña de la familia de modelos de Gemini, puede ejecutarse integrado en dispositivos Android compatibles, a partir del Google Pixel 8 Pro y Samsung Serie S24.
Para ejecutar el modelo de Gemini Nano en Android, debes usar la SDK de Google AI Edge para Android, que proporciona APIs para lo siguiente:
- Determina si el dispositivo Android subyacente es compatible.
- Accede al modelo de Gemini Nano.
- Ajustar la configuración de seguridad
- Ejecuta la inferencia con un alto rendimiento y, luego, implementa resguardos.
- También puedes proporcionar un bloque de ajuste de LoRA para mejorar el rendimiento del para ese caso de uso.
Las APIs para acceder a Gemini Nano admiten la modalidad de texto a texto, y mucho más modalidades que se lanzarán en el futuro.
Beneficios de la ejecución en el dispositivo
La ejecución en el dispositivo habilita lo siguiente:
- Procesamiento local de datos sensibles: El procesamiento local de datos puede ayudarte a evitar el envío de datos del usuario a la nube. Esto es importante para las apps que manejan datos sensibles, como apps de mensajería con encriptación de extremo a extremo.
- Acceso sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay o a Internet. Esto es útil para las aplicaciones que deben funcionar sin conexión o con conectividad variable.
- Ahorro de costos: Puedes reducir los costos de inferencia al transferir la ejecución a el hardware de consumidor. Esto puede generar ahorros significativos para los servicios que se usan con frecuencia de los flujos de usuarios.
La ejecución de Gemini en el dispositivo tiene muchos beneficios: Sin embargo, para los casos de uso que requieren modelos de Gemini más grandes y, para admitir una amplia variedad de dispositivos, puedes deberías considerar usar la API de Gemini para acceder a Gemini en el servidor. Tú puedes hacerlo a través de la integración de backend (con Python, Go, Node.js o REST) o directamente desde tu app para Android a través de la nueva SDK cliente de IA de Google para Android.
Cómo funciona
La ejecución de Gemini Nano en el dispositivo cuenta con la tecnología de AICore de Android, un nuevo capacidad a nivel de sistema que brinda acceso a los modelos de base para aplicaciones de tu aplicación, que se introdujo en Android 14. Los modelos de base se preinstalan con AICore, por lo que no necesitas descargarlos ni distribuirlos en tu app. Tú puedes ajustar estos modelos para tareas downstream con LoRa. AICore de Android es ahora disponible en producción en dispositivos Google Pixel 8 Pro y Samsung S24 Series y ya impulsa funciones innovadoras en las apps de Google.
Para obtener más información, consulta AICore de Android.
¿Qué sigue?
- Descubre cómo aprovechar la inferencia de Gemini Pro en los servidores de Google de tu app para Android, lee la guía de inicio rápido de SDK cliente de la IA de Google para Android.