En este documento, se describen varios métodos y herramientas para implementar y ejecutar modelos de Gemma en dispositivos móviles, incluido el uso de la app de Google AI Edge Gallery y la API de MediaPipe LLM Inference.
Para obtener información sobre cómo convertir un modelo de Gemma ajustado en una versión de LiteRT, consulta la Guía de conversión.
App de Google AI Edge Gallery
Para ver las APIs de LLM Inference en acción y probar tu modelo de Task Bundle, puedes usar la app de Google AI Edge Gallery. Esta app proporciona una interfaz de usuario para interactuar con LLMs en el dispositivo, lo que te permite hacer lo siguiente:
- Importar modelos: Carga tus modelos personalizados de
.tasken la app. - Configurar parámetros: Ajusta parámetros como la temperatura y top-k.
- Generar texto: Ingresa instrucciones y consulta las respuestas del modelo.
- Rendimiento de la prueba: Evalúa la velocidad y la precisión del modelo.
Si quieres obtener una guía detallada para usar la app de Google AI Edge Gallery, incluidas las instrucciones para importar tus propios modelos, consulta la documentación de la app.
LLM de MediaPipe
Puedes ejecutar modelos de Gemma en dispositivos móviles con la API de MediaPipe LLM Inference. La API de LLM Inference actúa como wrapper para los modelos de lenguaje grandes, lo que te permite ejecutar modelos de Gemma en el dispositivo para tareas comunes de generación de texto a texto, como la recuperación de información, la redacción de correos electrónicos y el resumen de documentos.
La API de LLM Inference está disponible en las siguientes plataformas para dispositivos móviles:
Para obtener más información, consulta la documentación de MediaPipe LLM Inference.