Gemma 4

I modelli Gemma 4 sono progettati per offrire prestazioni di livello avanzato in ogni dimensione, con l'obiettivo di scenari di deployment da dispositivi mobili ed edge (E2B, E4B) a GPU e workstation consumer (26B A4B, 31B). Sono adatti per il ragionamento, i flussi di lavoro agentici, la codifica e la comprensione multimodale.

Gemma 4 è concesso in licenza Apache-2.0. Per maggiori dettagli, consulta la scheda del modello Gemma 4.

🔴 Novità: previsione di più token

La previsione di più token (MTP) è una nuova ottimizzazione delle prestazioni che accelera notevolmente le velocità di decodifica sui backend CPU e GPU senza degradare la qualità.

  • Aumento delle prestazioni:
    • GPU: accelerazione massiccia, con una velocità di decodifica fino a 2,2 volte superiore sulle GPU mobile.
    • CPU: aumento delle prestazioni fino a 1,5 volte più veloce sulle CPU mobile e accelerazione significativa sull'hardware abilitato per SME (ad es. MacBook M4).
  • Consigli: MTP è consigliato universalmente per tutte le attività sui backend GPU e per il modello Gemma4-E4B sulla CPU. Per il modello Gemma4-E2B sulla CPU, è molto utile per le attività di riscrittura, riepilogo e codifica, ma deve essere abilitato in modo selettivo in quanto potrebbe causare un leggero rallentamento durante le attività di prompting o generative in formato libero.

Per provarlo, consulta le guide specifiche per la piattaforma:

Inizia

Chatta con Gemma4-E2B, ospitato nella community Hugging Face LiteRT.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Esegui il deployment da Safetensors

Segui questi passaggi per eseguire il deployment di Gemma 4 a partire dai tuoi safetensors personalizzati (ad esempio, dopo aver ottimizzato il modello per il tuo caso d'uso):

  • Converti in un formato .litertlm:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Esegui il deployment utilizzando le API multipiattaforma LiteRT-LM:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Riepilogo del rendimento

Gemma-4-E2B

  • Dimensione modello: 2,58 GB

  • Ulteriori dettagli tecnici sono disponibili nella scheda del modello HuggingFace

    Piattaforma (dispositivo) Backend Prefill (tk/s) Decodifica (tk/s) Tempo al primo token (secondi) Memoria CPU di picco (MB)
    Android (S26 Ultra) CPU 557 47 1,8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) CPU 532 25 1,9 607
    GPU 2878 56 0,3 1450
    Linux (Arm 2.3 e 2.8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) CPU 901 42 1,1 736
    GPU 7835 160 0,1 1623
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7,8 1546

Gemma-4-E4B

  • Dimensione modello: 3,65 GB

  • Ulteriori dettagli tecnici sono disponibili nella scheda del modello HuggingFace

    Piattaforma (dispositivo) Backend Prefill (tk/s) Decodifica (tk/s) Tempo al primo token (secondi) Memoria CPU di picco (MB)
    Android (S26 Ultra) CPU 195 18 5,3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) CPU 159 10 6,5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2.3 e 2.8 GHz / RTX 4090) CPU 82 18 12,6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3,7 890
    GPU 2560 101 0,4 3217
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20,5 3069