Cómo comenzar a usar Gemini Nano en Android (en el dispositivo)

Gemini Nano, la versión más pequeña de la familia de modelos de Gemini, se puede ejecutar de forma integrada en dispositivos Android compatibles a partir del Pixel 8 Pro.

Para ejecutar el modelo Gemini Nano en Android, debes usar el SDK de Google AI Edge para Android, que proporciona APIs para lo siguiente:

  • Determina si el dispositivo Android subyacente es compatible.
  • Obtener acceso al modelo de Gemini Nano
  • Ajusta la configuración de seguridad.
  • Ejecuta la inferencia con alto rendimiento y, además, implementa resguardos.
  • De manera opcional, proporciona un bloque de ajuste de LoRA para mejorar el rendimiento del modelo en tu caso de uso.

Las APIs para acceder a Gemini Nano admiten la modalidad de texto a texto, y se agregarán más en el futuro.

Beneficios de la ejecución en el dispositivo

La ejecución en el dispositivo permite lo siguiente:

  • Procesamiento local de datos sensibles: El procesamiento local de datos puede ayudarte a evitar el envío de datos del usuario a la nube. Esto es importante para las apps que manejan datos sensibles, como las de mensajería con encriptación de extremo a extremo.
  • Acceso sin conexión: Los usuarios pueden acceder a las funciones de IA incluso cuando no hay conexión a Internet. Esto es útil para aplicaciones que necesitan funcionar sin conexión o con conectividad variable.
  • Ahorro de costos: Puedes reducir los costos de inferencia si transfieres la ejecución al hardware del consumidor. Esto puede generar ahorros significativos para los flujos de usuarios de uso frecuente.

La ejecución de Gemini en el dispositivo tiene muchos beneficios; sin embargo, en los casos de uso que requieren modelos de Gemini más grandes y para admitir una amplia gama de dispositivos, te recomendamos que uses la API de Gemini para acceder a Gemini en el servidor. Puedes hacerlo a través de la integración del backend (con Python, Go, Node.js o REST) o directamente desde tu app para Android a través del nuevo SDK cliente de Google AI para Android.

Cómo funciona

La ejecución en el dispositivo de Gemini Nano cuenta con la tecnología de Android AICore, una nueva función a nivel del sistema que proporciona acceso a los modelos de base para la ejecución en el dispositivo, presentada en Android 14. Los modelos de base están preinstalados con AICore, por lo que no es necesario descargarlos ni distribuirlos dentro de tu app. Puedes ajustar estos modelos para tareas downstream con LoRa. Android AICore ahora está disponible en producción en dispositivos Pixel 8 Pro y ya integra funciones innovadoras en las apps de Google.

Para obtener más información, consulta AICore de Android.

Arquitectura de AICore
Figura 1. Arquitectura de AICore

Próximos pasos