Cómo comenzar a usar Gemini Nano en Android (en el dispositivo)

Gemini Nano, la versión más pequeña de la familia de modelos Gemini, se puede ejecutar en dispositivos Android compatibles a partir del Google Pixel 8 Pro y la serie Samsung S24.

Para ejecutar el modelo Gemini Nano en Android, debes usar el SDK de Google AI Edge para Android, que proporciona APIs para lo siguiente:

  • Determina si el dispositivo subyacente con Android es compatible.
  • Obtén acceso al modelo Gemini Nano.
  • Ajusta la configuración de seguridad.
  • Ejecuta la inferencia con alto rendimiento y, luego, implementa resguardos.
  • De forma opcional, proporciona un bloque de ajuste fino de LoRA para mejorar el rendimiento del modelo para tu caso de uso.

Las APIs para acceder a Gemini Nano admiten la modalidad de texto a texto, y se agregarán más modalidades en el futuro.

Beneficios de la ejecución en el dispositivo

La ejecución integrada en el dispositivo permite lo siguiente:

  • Procesamiento local de datos sensibles: El procesamiento de datos de forma local puede ayudarte a evitar enviar datos del usuario a la nube. Esto es importante para las apps que manejan datos sensibles, como las apps de mensajería con encriptación de extremo a extremo.
  • Acceso sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay conexión a Internet. Esto es útil para las aplicaciones que deben funcionar sin conexión o con conectividad variable.
  • Ahorro de costos: Puedes reducir los costos de inferencia transfiriendo la ejecución al hardware para consumidores. Esto puede generar ahorros significativos en los flujos de usuarios que se usan con frecuencia.

La ejecución de Gemini en el dispositivo tiene muchos beneficios. Sin embargo, para los casos de uso que requieren modelos de Gemini más grandes y para admitir una amplia variedad de dispositivos, te recomendamos que uses la API de Gemini para acceder a Gemini en el servidor. Puedes hacerlo a través de la integración del backend (con Python, Go, Node.js o REST) o directamente desde tu app para Android a través del nuevo SDK cliente de Google AI para Android.

Cómo funciona

La ejecución integrada en el dispositivo de Gemini Nano se basa en Android AICore, una nueva función a nivel del sistema que proporciona acceso a modelos de base para la ejecución integrada en el dispositivo, que se introdujo en Android 14. Los modelos de base se preinstalan con AICore, por lo que no necesitas descargarlos ni distribuirlos en tu app. Puedes ajustar estos modelos para tareas descendentes con LoRa. Android AICore ahora está disponible en producción en los dispositivos Google Pixel 8 Pro y Samsung S24 Series, y ya está potenciando funciones innovadoras en las apps de Google.

Para obtener más información, consulta Android AICore.

Arquitectura de AICore
Figura 1: Arquitectura de AICore

¿Qué sigue?