Gemini Nano, la versión más pequeña de la familia de modelos Gemini, se puede ejecutar en el dispositivo en dispositivos Android compatibles, como el Google Pixel 8 Pro y la serie Samsung S24.
Para ejecutar el modelo Gemini Nano en Android, debes usar el SDK de Google AI Edge para Android, que proporciona las APIs para lo siguiente:
- Determina si el dispositivo Android subyacente es compatible.
- Obtén acceso al modelo Gemini Nano.
- Ajusta la configuración de seguridad.
- Ejecuta inferencias con alto rendimiento y, además, implementa resguardos.
- De manera opcional, proporciona un bloque de ajuste de LoRA para mejorar el rendimiento del modelo en tu caso de uso.
Las APIs para acceder a Gemini Nano admiten la modalidad de texto a texto, y se agregarán más en el futuro.
Beneficios de la ejecución en el dispositivo
La ejecución en el dispositivo habilita lo siguiente:
- Procesamiento local de datos sensibles: El procesamiento local de datos puede ayudarte a evitar el envío de datos del usuario a la nube. Esto es importante para las apps que manejan datos sensibles, como las de mensajería con encriptación de extremo a extremo.
- Acceso sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay conexión a Internet. Esto es útil para las aplicaciones que necesitan funcionar sin conexión o con conectividad variable.
- Ahorro de costos: Puedes reducir los costos de inferencia si transfieres la ejecución al hardware del consumidor. Esto puede generar ahorros significativos para los flujos de usuarios de uso frecuente.
La ejecución de Gemini en el dispositivo tiene muchos beneficios. Sin embargo, para los casos de uso que requieren modelos de Gemini más grandes y para admitir una amplia variedad de dispositivos, te recomendamos que uses la API de Gemini para acceder a este servicio en el servidor. Puedes hacerlo a través de la integración del backend (con Python, Go, Node.js o REST) o directamente desde tu app para Android a través del nuevo SDK cliente de Google AI para Android.
Cómo funciona
La ejecución en el dispositivo de Gemini Nano cuenta con la tecnología de Android AICore, una nueva función a nivel del sistema que proporciona acceso a los modelos de base para la ejecución en el dispositivo, presentada en Android 14. Los modelos de base están preinstalados con AICore, por lo que no necesitas descargarlos ni distribuirlos dentro de tu app. Puedes ajustar estos modelos para tareas downstream con LoRa. Android AICore ahora está disponible en producción en dispositivos Google Pixel 8 Pro y Samsung S24, y ya potencia funciones innovadoras en las apps de Google.
Para obtener más información, consulta Android AICore.
Próximos pasos
Para comenzar a usar Gemini Nano en el dispositivo con tu app, envía una solicitud a nuestra versión preliminar de acceso anticipado del SDK de Google AI Edge para Android.
Para aprender a aprovechar la inferencia de Gemini Pro en los servidores de Google en tu app para Android, lee la guía de inicio rápido del SDK cliente de Google AI para Android.