Джемма 4

Модели Gemma 4 разработаны для обеспечения производительности на передовом уровне для каждого размера, ориентируясь на сценарии развертывания от мобильных и периферийных устройств (E2B, E4B) до потребительских графических процессоров и рабочих станций (26B A4B, 31B). Они хорошо подходят для рассуждений, агентных рабочих процессов, программирования и многомодального понимания.

Gemma 4 распространяется под лицензией Apache-2.0. Для получения более подробной информации см. типовую карту Gemma 4 .

🔴 Что нового: Прогнозирование мультитокенов

Multi-Token Prediction (MTP) — это новая оптимизация производительности, которая значительно ускоряет скорость декодирования как на центральных, так и на графических процессорах без ухудшения качества.

  • Повышение производительности:
    • GPU: Значительное ускорение, обеспечивающее до 2,2-кратного ускорения декодирования на мобильных графических процессорах.
    • Процессор: Прирост производительности до 1,5 раз на мобильных процессорах и значительное ускорение на оборудовании для малых и средних предприятий (например, MacBook с процессором M4).
  • Рекомендации: MTP повсеместно рекомендуется для всех задач на графических процессорах и для модели Gemma4-E4B на центральном процессоре. Для модели Gemma4-E2B на центральном процессоре он особенно полезен для задач переписывания, суммирования и кодирования, но его следует включать выборочно, поскольку он может вызвать небольшое замедление во время произвольного ввода текста или генеративных задач.

Чтобы попробовать, ознакомьтесь с руководствами для конкретной платформы:

Начать

Пообщайтесь с Gemma4-E2B в сообществе Hugging Face LiteRT.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Развертывание из Safetensors

Выполните следующие шаги для развертывания Gemma 4, начиная с ваших пользовательских сатесторов (например, после тонкой настройки модели под ваш сценарий использования):

  • Преобразовать в формат .litertlm :

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Развертывание с использованием кроссплатформенных API LiteRT-LM :

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Сводка результатов

Gemma-4-E2B

  • Размер модели: 2,58 ГБ

  • Дополнительные технические характеристики приведены в описании модели HuggingFace.

    Платформа (Устройство) Бэкенд Предварительное заполнение (тк/с) Декодирование (тк/с) Время до получения первого токена (секунды) Максимальное потребление памяти ЦП (МБ)
    Android (S26 Ultra) Процессор 557 47 1.8 1733
    GPU 3808 52 0.3 676
    iOS (iPhone 17 Pro) Процессор 532 25 1.9 607
    GPU 2878 56 0.3 1450
    Linux (Arm 2.3 и 2.8 ГГц, NVIDIA GeForce RTX 4090) Процессор 260 35 4 1628
    GPU 11234 143 0.1 913
    macOS (MacBook Pro M4) Процессор 901 42 1.1 736
    GPU 7835 160 0.1 1623
    Интернет вещей (Raspberry Pi 5 16 ГБ) Процессор 133 8 7.8 1546

Gemma-4-E4B

  • Размер модели: 3,65 ГБ

  • Дополнительные технические характеристики приведены в описании модели HuggingFace.

    Платформа (Устройство) Бэкенд Предварительное заполнение (тк/с) Декодирование (тк/с) Время до получения первого токена (секунды) Максимальное потребление памяти ЦП (МБ)
    Android (S26 Ultra) Процессор 195 18 5.3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) Процессор 159 10 6.5 961
    GPU 1189 25 0.9 3380
    Linux (Arm 2.3 и 2.8 ГГц / RTX 4090) Процессор 82 18 12.6 3139
    GPU 7260 91 0.2 1119
    macOS (MacBook Pro M4 Max) Процессор 277 27 3.7 890
    GPU 2560 101 0,4 3217
    Интернет вещей (Raspberry Pi 5 16 ГБ) Процессор 51 3 20.5 3069