Gemma 4

Gemma 4 modelleri, her boyutta en üst düzeyde performans sunmak üzere tasarlanmıştır. Mobil ve uç cihazlardan (E2B, E4B) tüketici GPU'larına ve iş istasyonlarına (26B A4B, 31B) kadar çeşitli dağıtım senaryolarını hedefler. Bu modeller; mantık yürütme, ajan tabanlı iş akışları, kodlama ve çok formatlı anlama için uygundur.

Gemma 4, Apache-2.0 lisansı kapsamında lisanslanmıştır. Daha fazla bilgi için Gemma 4 Model Kartı'na bakın.

Başlayın

Hugging Face LiteRT Community'de barındırılan Gemma4-E2B ile sohbet edin.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Safetensors'tan dağıtma

Gemma 4'ü özel safetensors'larınızdan başlayarak dağıtmak için aşağıdaki adımları uygulayın (örneğin, modeli kullanım alanınıza göre ince ayar yaptıktan sonra):

  • .litertlm biçimine dönüştürme:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • LiteRT-LM platformlar arası API'lerini kullanarak dağıtma:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Performans Özeti

Gemma-4-E2B

  • Model boyutu: 2,58 GB

  • Diğer teknik ayrıntılar için HuggingFace model kartına bakın.

    Platform (Cihaz) Arka uç Önceden doldurma (tk/s) Kod çözme (tk/sn) İlk jetona kadar geçen süre (saniye) En Yüksek CPU Belleği (MB)
    Android (S26 Ultra) CPU 557 47 1,8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0,3 1450
    Linux (Arm 2,3 ve 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0,1 1623
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546

Gemma-4-E4B

  • Model boyutu: 3,65 GB

  • Diğer teknik ayrıntılar için HuggingFace model kartına bakın.

    Platform (Cihaz) Arka uç Önceden doldurma (tk/s) Kod çözme (tk/sn) İlk jetona kadar geçen süre (saniye) En Yüksek CPU Belleği (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) CPU 159 10 6.5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2,3 ve 2,8 GHz / RTX 4090) CPU 82 18 12,6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0,4 3217
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20,5 3069