Puedes ejecutar modelos de Gemma completamente en el dispositivo con la API de inferencia de LLM de MediaPipe. La API de inferencia de LLM actúa como un wrapper para modelos grandes de lenguaje, lo que te permite ejecutar modelos de Gemma en el dispositivo para tareas comunes de generación de texto a texto, como la recuperación de información, la creación de borradores de correos electrónicos y el resumen de documentos.
Prueba la API de inferencia de LLM con MediaPipe Studio, una aplicación basada en la Web para evaluar y personalizar modelos en el dispositivo.
La API de inferencia de LLM está disponible en las siguientes plataformas:
Para obtener más información, consulta la documentación de inferencia del LLM de MediaPipe.