Gemma 4

Les modèles Gemma 4 sont conçus pour offrir des performances de pointe à chaque taille, en ciblant les scénarios de déploiement allant des appareils mobiles et de périphérie (E2B, E4B) aux GPU grand public et aux stations de travail (26B A4B, 31B). Ils sont particulièrement adaptés au raisonnement, aux workflows agentiques, au codage et à la compréhension multimodale.

Gemma 4 est distribué sous licence Apache 2.0. Pour en savoir plus, consultez la fiche de modèle Gemma 4.

Premiers pas

Discutez avec Gemma4-E2B, hébergé sur la communauté Hugging Face LiteRT.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Déployer à partir de Safetensors

Suivez ces étapes pour déployer Gemma 4 à partir de vos safetensors personnalisés (par exemple, après avoir affiné le modèle pour votre cas d'utilisation) :

  • Convertir au format .litertlm :

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Déployez à l'aide des API LiteRT-LM multiplates-formes :

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Synthèse des performances

Gemma-4-E2B

  • Taille du modèle : 2,58 Go

  • Pour en savoir plus sur les détails techniques, consultez la fiche de modèle HuggingFace.

    Plate-forme (appareil) Backend Préremplissage (tk/s) Décodage (tk/s) Délai d'émission du premier jeton (en secondes) Pic de mémoire du processeur (Mo)
    Android (S26 Ultra) Processeur 557 47 1.8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) Processeur 532 25 1.9 607
    GPU 2878 56 0,3 1450
    Linux (Arm 2.3 et 2.8 GHz, NVIDIA GeForce RTX 4090) Processeur 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) Processeur 901 42 1.1 736
    GPU 7835 160 0,1 1623
    IoT (Raspberry Pi 5 16 Go) Processeur 133 8 7,8 1546

Gemma-4-E4B

  • Taille du modèle : 3,65 Go

  • Pour en savoir plus sur les détails techniques, consultez la fiche de modèle HuggingFace.

    Plate-forme (appareil) Backend Préremplissage (tk/s) Décodage (tk/s) Délai d'émission du premier jeton (en secondes) Pic de mémoire du processeur (Mo)
    Android (S26 Ultra) Processeur 195 18 5,3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) Processeur 159 10 6,5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2,3 GHz et 2,8 GHz / RTX 4090) Processeur 82 18 12.6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) Processeur 277 27 3.7 890
    GPU 2 560 101 0,4 3217
    IoT (Raspberry Pi 5 16 Go) Processeur 51 3 20.5 3069