Gemma 4

Modele Gemma 4 zostały zaprojektowane tak, aby zapewniać najwyższą wydajność w każdym rozmiarze, z myślą o scenariuszach wdrożenia na urządzeniach mobilnych i brzegowych (E2B, E4B), konsumenckich układach GPU i stacjach roboczych (26B A4B, 31B). Dobrze sprawdzają się w przypadku rozumowania, przepływów pracy z agentami, kodowania i rozpoznawania multimodalnego.

Model Gemma 4 jest licencjonowany na podstawie licencji Apache-2.0. Więcej informacji znajdziesz w karcie modelu Gemma 4.

🔴 Nowość: przewidywanie wielu tokenów

Przewidywanie wielu tokenów (Multi-Token Prediction, MTP) to nowa optymalizacja wydajności, która znacznie przyspiesza dekodowanie w backendach CPU i GPU bez utraty jakości.

  • Wzrost wydajności:
    • GPU: ogromne przyspieszenie, nawet 2,2-krotne przyspieszenie dekodowania na mobilnych układach GPU.
    • CPU: wzrost wydajności nawet o 1,5 raza na mobilnych procesorach i znaczne przyspieszenie na sprzęcie z obsługą SME (np. MacBooki M4).
  • Zalecenia: MTP jest powszechnie zalecane do wszystkich zadań w backendach GPU oraz do modelu Gemma4-E4B na procesorze. W przypadku modelu Gemma4-E2B na procesorze jest to bardzo przydatne w przypadku zadań związanych z przepisywaniem, podsumowywaniem i kodowaniem, ale należy je włączać selektywnie, ponieważ może powodować niewielkie spowolnienie podczas promptów w wolnym formacie lub zadań generatywnych.

Aby wypróbować tę funkcję, zapoznaj się z przewodnikami dotyczącymi poszczególnych platform:

Rozpocznij

Czatuj z Gemma4-E2B hostowanym w społeczności Hugging Face LiteRT.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Wdrażanie z Safetensors

Aby wdrożyć model Gemma 4, wykonaj te czynności, zaczynając od niestandardowych safetensors (na przykład po dostrojeniu modelu do swojego przypadku użycia):

  • Przekonwertuj na format .litertlm:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Wdróż za pomocą międzyplatformowych interfejsów API LiteRT-LM:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Podsumowanie skuteczności

Gemma-4-E2B

  • Rozmiar modelu: 2,58 GB

  • Dodatkowe szczegóły techniczne znajdziesz w karcie modelu HuggingFace

    Platforma (urządzenie) Backend Wstępne wypełnianie (tk/s) Dekodowanie (tk/s) Czas do pierwszego tokena (w sekundach) Szczytowe wykorzystanie pamięci CPU (MB)
    Android (S26 Ultra) CPU 557 47 1,8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) CPU 532 25 1,9 607
    GPU 2878 56 0,3 1450
    Linux (Arm 2,3 i 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) CPU 901 42 1,1 736
    GPU 7835 160 0,1 1623
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7,8 1546

Gemma-4-E4B

  • Rozmiar modelu: 3,65 GB

  • Dodatkowe szczegóły techniczne znajdziesz w karcie modelu HuggingFace

    Platforma (urządzenie) Backend Wstępne wypełnianie (tk/s) Dekodowanie (tk/s) Czas do pierwszego tokena (w sekundach) Szczytowe wykorzystanie pamięci CPU (MB)
    Android (S26 Ultra) CPU 195 18 5,3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) CPU 159 10 6,5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2,3 i 2,8 GHz / RTX 4090) CPU 82 18 12,6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3,7 890
    GPU 2560 101 0,4 3217
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20,5 3069