Gemma 4

Les modèles Gemma 4 sont conçus pour offrir des performances de pointe à chaque taille, en ciblant les scénarios de déploiement allant des appareils mobiles et de périphérie (E2B, E4B) aux GPU grand public et aux stations de travail (26B A4B, 31B). Ils sont particulièrement adaptés au raisonnement, aux workflows agentiques, au codage et à la compréhension multimodale.

Gemma 4 est distribué sous licence Apache 2.0. Pour en savoir plus, consultez la fiche de modèle Gemma 4.

🔴 Nouveauté : prédiction multitoken

La prédiction multitoken (MTP, Multi-Token Prediction) est une nouvelle optimisation des performances qui accélère considérablement les vitesses de décodage sur les backends CPU et GPU sans dégrader la qualité.

  • Gains de performances :
    • GPU : accélération massive, avec une vitesse de décodage jusqu'à 2,2 fois plus rapide sur les GPU mobiles.
    • Processeur : les performances sont améliorées jusqu'à 1,5 fois sur les processeurs mobiles et l'accélération est significative sur le matériel compatible SME (par exemple, les MacBook M4).
  • Recommandations : MTP est universellement recommandé pour toutes les tâches sur les backends GPU et pour le modèle Gemma4-E4B sur le CPU. Pour le modèle Gemma4-E2B sur le processeur, il est très utile pour les tâches de réécriture, de résumé et de codage, mais doit être activé de manière sélective, car il peut entraîner un léger ralentissement lors de l'utilisation d'invites en mode forme libre ou de tâches génératives.

Pour l'essayer, consultez les guides spécifiques à chaque plate-forme :

Premiers pas

Discutez avec Gemma4-E2B, hébergé sur la communauté Hugging Face LiteRT.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Déployer à partir de Safetensors

Suivez ces étapes pour déployer Gemma 4 à partir de vos safetensors personnalisés (par exemple, après avoir affiné le modèle pour votre cas d'utilisation) :

  • Convertir au format .litertlm :

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Déployez à l'aide des API LiteRT-LM multiplates-formes :

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Synthèse des performances

Gemma-4-E2B

  • Taille du modèle : 2,58 Go

  • Pour en savoir plus sur les détails techniques, consultez la fiche de modèle HuggingFace.

    Plate-forme (appareil) Backend Préremplissage (tk/s) Décodage (tk/s) Délai d'émission du premier jeton (en secondes) Pic de mémoire du processeur (Mo)
    Android (S26 Ultra) Processeur 557 47 1.8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) Processeur 532 25 1.9 607
    GPU 2878 56 0,3 1450
    Linux (Arm 2.3 et 2.8 GHz, NVIDIA GeForce RTX 4090) Processeur 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) Processeur 901 42 1.1 736
    GPU 7835 160 0,1 1623
    IoT (Raspberry Pi 5 16 Go) Processeur 133 8 7,8 1546

Gemma-4-E4B

  • Taille du modèle : 3,65 Go

  • Pour en savoir plus sur les détails techniques, consultez la fiche de modèle HuggingFace.

    Plate-forme (appareil) Backend Préremplissage (tk/s) Décodage (tk/s) Délai d'émission du premier jeton (en secondes) Pic de mémoire du processeur (Mo)
    Android (S26 Ultra) Processeur 195 18 5,3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) Processeur 159 10 6,5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2,3 GHz et 2,8 GHz / RTX 4090) Processeur 82 18 12.6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) Processeur 277 27 3.7 890
    GPU 2 560 101 0,4 3217
    IoT (Raspberry Pi 5 16 Go) Processeur 51 3 20.5 3069