Implantar o Gemma em dispositivos móveis

Este documento descreve vários métodos e ferramentas para implantar e executar modelos da Gemma em dispositivos móveis, incluindo o uso do app Google AI Edge Gallery e da API MediaPipe LLM Inference.

Para informações sobre como converter um modelo da Gemma refinado em uma versão LiteRT, consulte o guia de conversão.

Para ver as APIs de inferência de LLM em ação e testar seu modelo de pacote de tarefas, use o app Google AI Edge Gallery (link em inglês). Esse app oferece uma interface do usuário para interagir com LLMs no dispositivo, permitindo que você:

  • Importar modelos:carregue seus modelos .task personalizados no app.
  • Configurar parâmetros:ajuste configurações como temperatura e top-k.
  • Gerar texto:insira comandos e confira as respostas do modelo.
  • Teste de desempenho:avalie a velocidade e a acurácia do modelo.

Para um guia detalhado sobre como usar o app Google AI Edge Gallery, incluindo instruções para importar seus próprios modelos, consulte a documentação do app.

LLM do MediaPipe

É possível executar modelos Gemma em dispositivos móveis com a API MediaPipe LLM Inference. A API LLM Inference atua como um wrapper para modelos de linguagem grandes, permitindo que você execute modelos da Gemma no dispositivo para tarefas comuns de geração de texto para texto, como recuperação de informações, redação de e-mails e resumo de documentos.

A API LLM Inference está disponível nas seguintes plataformas móveis:

Para saber mais, consulte a documentação de inferência de LLM do MediaPipe.