Gemma 4

Los modelos Gemma 4 están diseñados para ofrecer un rendimiento de vanguardia en cada tamaño, y se orientan a situaciones de implementación que van desde dispositivos móviles y perimetrales (E2B y E4B) hasta GPU y estaciones de trabajo para el consumidor (26B A4B y 31B). Son adecuados para el razonamiento, los flujos de trabajo basados en agentes, la programación y la comprensión multimodal.

Gemma 4 se lanza bajo la licencia Apache-2.0. Para obtener más detalles, consulta la tarjeta del modelo Gemma 4.

🔴 Novedades: Predicción de varios tokens

La predicción de varios tokens (MTP) es una nueva optimización del rendimiento que acelera significativamente las velocidades de decodificación en los backends de CPU y GPU sin degradación de la calidad.

  • Aumentos del rendimiento:
    • GPU: Aceleración masiva que ofrece una mejora de hasta 2.2 veces en la velocidad de decodificación en GPUs para dispositivos móviles.
    • CPU: Aumentos de rendimiento de hasta 1.5 veces más velocidad en las CPU de dispositivos móviles y aceleración significativa en el hardware habilitado para SME (p.ej., MacBook con M4).
  • Recomendaciones: Se recomienda el MTP de forma universal para todas las tareas en back-ends de GPU y para el modelo Gemma4-E4B en la CPU. En el caso del modelo Gemma4-E2B en la CPU, es muy valioso para las tareas de reescritura, resumen y programación, pero se debe habilitar de forma selectiva, ya que puede causar una ligera ralentización durante las tareas de generación o de instrucciones de formato libre.

Para probarlo, consulta las guías específicas de la plataforma:

Comenzar

Chatea con Gemma4-E2B, alojado en la comunidad de Hugging Face LiteRT.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Implementa desde Safetensors

Sigue estos pasos para implementar Gemma 4 a partir de tus safetensors personalizados (por ejemplo, después de ajustar el modelo para tu caso de uso):

  • Convierte el archivo a formato .litertlm:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Implementa con las APIs multiplataforma de LiteRT-LM:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Resumen de rendimiento

Gemma-4-E2B

  • Tamaño del modelo: 2.58 GB

  • Encontrarás más detalles técnicos en la ficha del modelo de Hugging Face.

    Plataforma (dispositivo) Backend Completado previamente (tk/s) Decodificación (tk/s) Tiempo hasta el primer token (segundos) Memoria máxima de CPU (MB)
    Android (S26 Ultra) CPU 557 47 1.8 1989
    GPU 3808 52 0.3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0.3 1450
    Linux (Arm 2.3 y 2.8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0.1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0.1 1623
    Windows (Intel LunarLake) CPU 435 30 2.4 3505
    GPU 3751 48 0.3 3540
    IoT (Raspberry Pi 5, 16 GB) CPU 133 8 7.8 1546

Gemma-4-E4B

  • Tamaño del modelo: 3.65 GB

  • Encontrarás más detalles técnicos en la ficha del modelo de Hugging Face.

    Plataforma (dispositivo) Backend Completado previamente (tk/s) Decodificación (tk/s) Tiempo hasta el primer token (segundos) Memoria máxima de CPU (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0.8 710
    iOS (iPhone 17 Pro) CPU 159 10 6.5 961
    GPU 1189 25 0.9 3380
    Linux (Arm 2.3 y 2.8 GHz / RTX 4090) CPU 82 18 12.6 3139
    GPU 7260 91 0.2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2,560 101 0.4 3217
    Windows (Intel LunarLake) CPU 173 17 6.0 9372
    GPU 1202 25 0.9 7147
    IoT (Raspberry Pi 5, 16 GB) CPU 51 3 20.5 3069