Gemma 4

Os modelos Gemma 4 foram projetados para oferecer desempenho de ponta em cada tamanho, visando cenários de implantação de dispositivos móveis e de borda (E2B, E4B) a GPUs e estações de trabalho para consumidores (26B A4B, 31B). Elas são adequadas para raciocínio, fluxos de trabalho baseados em agentes, programação e compreensão multimodal.

O Gemma 4 está licenciado sob a licença Apache-2.0. Para mais detalhes, consulte o card de modelo do Gemma 4.

🔴 Novidade: previsão de vários tokens

A previsão de vários tokens (MTP, na sigla em inglês) é uma nova otimização de desempenho que acelera significativamente as velocidades de decodificação em back-ends de CPU e GPU sem degradação da qualidade.

  • Ganhos de performance:
    • GPU:aceleração enorme, oferecendo até 2,2 vezes mais velocidade de decodificação em GPUs móveis.
    • CPU:aumenta o desempenho em até 1,5 vezes a velocidade em CPUs móveis e acelera significativamente o hardware compatível com SME (por exemplo, MacBooks M4).
  • Recomendações:o MTP é recomendado para todas as tarefas em back-ends de GPU e para o modelo Gemma4-E4B em CPU. Para o modelo Gemma4-E2B na CPU, ele é muito útil para tarefas de reescrita, resumo e programação, mas precisa ser ativado seletivamente, já que pode causar uma pequena lentidão durante comandos de texto livre ou tarefas generativas.

Para testar, consulte os guias específicos da plataforma:

Começar

Converse com o Gemma4-E2B, hospedado na comunidade LiteRT do Hugging Face.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Implantar do Safetensors

Siga estas etapas para implantar o Gemma 4 usando seus safetensors personalizados (por exemplo, depois de ajustar o modelo para seu caso de uso):

  • Converter para um formato .litertlm:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Implante usando APIs multiplataforma do LiteRT-LM:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Resumo da performance

Gemma-4-E2B

  • Tamanho do modelo: 2,58 GB

  • Confira mais detalhes técnicos no card de modelo do HuggingFace.

    Plataforma (dispositivo) Back-end Pré-preenchimento (tk/s) Decodificação (tk/s) Tempo até o primeiro token (segundos) Pico de memória da CPU (MB)
    Android (S26 Ultra) CPU 557 47 1,8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0,3 1.450
    Linux (Arm 2,3 e 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0,1 1623
    Windows (Intel LunarLake) CPU 435 30 2.4 3505
    GPU 3751 48 0,3 3540
    IoT (Raspberry Pi 5 de 16 GB) CPU 133 8 7,8 1546

Gemma-4-E4B

  • Tamanho do modelo: 3,65 GB

  • Confira mais detalhes técnicos no card de modelo do HuggingFace.

    Plataforma (dispositivo) Back-end Pré-preenchimento (tk/s) Decodificação (tk/s) Tempo até o primeiro token (segundos) Pico de memória da CPU (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) CPU 159 10 6,5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2,3 e 2,8 GHz / RTX 4090) CPU 82 18 12.6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0,4 3217
    Windows (Intel LunarLake) CPU 173 17 6.0 9372
    GPU 1202 25 0,9 7147
    IoT (Raspberry Pi 5 de 16 GB) CPU 51 3 20,5 3069