É possível executar modelos do Gemma completamente no dispositivo com a inferência de LLM do MediaPipe API. O A API LLM Inference atua como um wrapper para modelos de linguagem grandes, permitindo que você execute O Gemma cria modelos no dispositivo para tarefas comuns de geração de texto para texto, como informações elaboração de e-mails e resumos de documentos.
Teste a API LLM Inference com o MediaPipe Studio, aplicativo baseado na Web para avaliar e personalizar modelos no dispositivo.
A API LLM Inference está disponível nas seguintes plataformas:
Para saber mais, consulte a Inferência de LLM do MediaPipe Documentação.