Puedes ejecutar modelos de Gemma completamente en el dispositivo con la inferencia de MediaPipe LLM API El La API de inferencia de LLM actúa como un wrapper para modelos grandes de lenguaje, lo que te permite ejecutar Modelos Gemma integrados en el dispositivo para tareas comunes de generación de texto a texto, como la información recuperación, creación de borradores de correos electrónicos y resumen de documentos.
Prueba la API de inferencia de LLM con MediaPipe Studio, aplicación basada en la Web para evaluar y personalizar modelos en el dispositivo.
La API de inferencia de LLM está disponible en las siguientes plataformas:
Para obtener más información, consulta el artículo Inferencia de MediaPipe LLM documentación.