É possível executar modelos Gemma completamente no dispositivo com a API MediaPipe LLM Inference. A API LLM Inference atua como um wrapper para modelos de linguagem grandes, permitindo que você execute modelos Gemma no dispositivo para tarefas comuns de geração de texto para texto, como recuperação de informações, elaboração de e-mails e resumo de documentos.
Teste a API LLM Inference com o MediaPipe Studio, um aplicativo baseado na Web para avaliar e personalizar modelos no dispositivo.
A API LLM Inference está disponível nestas plataformas:
Para saber mais, consulte a documentação da inferência de LLM do MediaPipe.