Executar a geração de conteúdo e as inferências do Gemma

Há duas decisões importantes a serem tomadas ao executar um modelo do Gemma: 1) qual variante do Gemma você quer executar e 2) qual framework de execução de IA você vai usar para isso? Um problema fundamental ao tomar essas decisões tem a ver com o hardware disponível para você e seus usuários executarem o modelo.

Esta visão geral ajuda você a tomar essas decisões e começar a trabalhar com os modelos da Gemma. As etapas gerais para executar um modelo da Gemma são as seguintes:

Escolher um framework

Os modelos Gemma são compatíveis com várias estruturas de execução de IA generativa. Um dos principais fatores de decisão ao executar um modelo Gemma é quais recursos de computação você tem (ou terá) disponíveis para executar o modelo. A maioria das estruturas de IA compatíveis exige hardware especializado, como GPUs ou TPUs, para executar um modelo Gemma com eficiência. Ferramentas como o Google Colab podem fornecer esses recursos de computação especializados de forma limitada. Alguns frameworks de execução de IA, como o Ollama e o Gemma.cpp, permitem executar a Gemma em CPUs mais comuns usando arquiteturas compatíveis com x86 ou ARM.

Confira guias para executar modelos da Gemma com vários frameworks de tempo de execução de IA:

Confira se o formato do modelo Gemma que você quer implantar, como o formato nativo do Keras, Safetensors ou GGUF, é compatível com a estrutura escolhida.

Selecionar uma variante da Gemma

Os modelos Gemma estão disponíveis em várias variantes e tamanhos, incluindo os modelos básicos ou principais, além de variantes mais especializadas, como PaliGemma e DataGemma, e muitas variantes criadas pela comunidade de desenvolvedores de IA em sites como Kaggle e Hugging Face. Se você não tiver certeza de qual variante usar, selecione o modelo mais recente do Gemma principal ajustado por instruções (IT) com o menor número de parâmetros. Esse tipo de modelo tem requisitos de computação baixos e pode responder a uma grande variedade de comandos sem exigir desenvolvimento adicional.

Considere os seguintes fatores ao escolher uma variante da Gemma:

  • Gemma Core e outras famílias de variantes, como PaliGemma e CodeGemma: Recomendamos o Gemma (Core). As variantes do Gemma além da versão principal têm a mesma arquitetura do modelo principal e são treinadas para ter um desempenho melhor em tarefas específicas. A menos que seu aplicativo ou metas se alinhem à especialização de uma variante específica do Gemma, é melhor começar com um modelo principal ou básico do Gemma.
  • Ajustado por instrução (IT), pré-treinado (PT), refinado (FT), misto (mix): recomende IT.
    • As variantes da Gemma ajustadas por instruções (IT, na sigla em inglês) são modelos treinados para responder a várias instruções ou solicitações em linguagem humana. Essas variantes são o melhor ponto de partida porque podem responder a comandos sem mais treinamento.
    • As variantes pré-treinadas (PT) do Gemma são modelos treinados para fazer inferências sobre linguagem ou outros dados, mas não para seguir instruções humanas. Esses modelos exigem treinamento ou ajuste adicional para realizar tarefas de maneira eficaz e são destinados a pesquisadores ou desenvolvedores que querem estudar ou desenvolver as capacidades do modelo e da arquitetura dele.
    • As variantes da Gemma ajustadas (FT, na sigla em inglês) podem ser consideradas variantes de TI, mas geralmente são treinadas para realizar uma tarefa específica ou ter um bom desempenho em um comparativo de IA generativa específico. A família de variantes PaliGemma inclui várias variantes de FT.
    • As variantes mistas (mix) do Gemma são versões dos modelos PaliGemma que foram ajustadas com instruções variadas e são adequadas para uso geral.
  • Parâmetros: Recomende o menor número disponível. Em geral, quanto mais parâmetros um modelo tem, mais capacidade ele tem. No entanto, executar modelos maiores exige recursos de computação maiores e mais complexos e geralmente retarda o desenvolvimento de um aplicativo de IA. A menos que você já tenha determinado que um modelo menor do Gemma não atende às suas necessidades, escolha um com um pequeno número de parâmetros.
  • Níveis de quantização:recomende meia precisão (16 bits), exceto para ajuste. A quantização é um tema complexo que se resume ao tamanho e à precisão dos dados e, consequentemente, à quantidade de memória que um modelo de IA generativa usa para cálculos e geração de respostas. Depois que um modelo é treinado com dados de alta precisão, geralmente dados de ponto flutuante de 32 bits, modelos como o Gemma podem ser modificados para usar dados de menor precisão, como tamanhos de 16, 8 ou 4 bits. Esses modelos Gemma quantizados ainda podem ter um bom desempenho, dependendo da complexidade das tarefas, usando muito menos recursos de computação e memória. No entanto, as ferramentas para ajuste de modelos quantizados são limitadas e podem não estar disponíveis no framework de desenvolvimento de IA escolhido. Normalmente, é necessário ajustar um modelo como o Gemma com precisão total e quantizar o modelo resultante.

Para uma lista dos principais modelos Gemma publicados pelo Google, consulte a Lista de modelos Gemma e Como começar a usar os modelos Gemma.

Executar solicitações de geração e inferência

Depois de selecionar uma estrutura de execução de IA e uma variante da Gemma, você pode começar a executar o modelo e pedir que ele gere conteúdo ou conclua tarefas. Para mais informações sobre como executar a Gemma com um framework específico, consulte os guias vinculados na seção Escolher um framework.

Formatação de comandos

Todas as variantes da Gemma ajustadas por instruções têm requisitos específicos de formatação de comandos. Alguns desses requisitos de formatação são processados automaticamente pelo framework usado para executar modelos da Gemma. No entanto, ao enviar dados de solicitação diretamente para um tokenizador, é necessário adicionar tags específicas. Os requisitos de inclusão de tags podem mudar dependendo da variante da Gemma que você está usando. Consulte os guias a seguir para informações sobre formatação de comandos e instruções do sistema para variantes da Gemma: