Gemma 4

Model Gemma 4 dirancang untuk memberikan performa tingkat tinggi di setiap ukuran, dengan menargetkan skenario deployment dari perangkat seluler dan edge (E2B, E4B) hingga GPU dan workstation konsumen (26B A4B, 31B). Model ini cocok untuk penalaran, alur kerja agentik, coding, dan pemahaman multimodal.

Gemma 4 dilisensikan berdasarkan lisensi Apache-2.0. Untuk mengetahui detail selengkapnya, lihat Kartu Model Gemma 4.

🔴 Yang Baru: Prediksi Multi-Token

Prediksi Multi-Token (MTP) adalah pengoptimalan performa baru yang secara signifikan mempercepat kecepatan dekode di seluruh backend CPU dan GPU tanpa penurunan kualitas.

  • Peningkatan Performa:
    • GPU: Akselerasi besar-besaran, memberikan peningkatan kecepatan decoding hingga 2,2x pada GPU seluler.
    • CPU: Peningkatan performa hingga 1,5x lebih cepat di CPU seluler dan akselerasi yang signifikan di hardware yang mendukung SME (misalnya, MacBook M4).
  • Rekomendasi: MTP direkomendasikan secara universal untuk semua tugas di backend GPU dan untuk model Gemma4-E4B di CPU. Untuk model Gemma4-E2B di CPU, model ini sangat berharga untuk tugas penulisan ulang, meringkas, dan coding, tetapi harus diaktifkan secara selektif karena dapat menyebabkan sedikit perlambatan selama tugas pembuatan perintah bentuk bebas atau generatif.

Untuk mencobanya, lihat panduan khusus platform:

Mulai

Mulai percakapan dengan Gemma4-E2B, yang dihosting di Komunitas LiteRT Hugging Face.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Men-deploy dari Safetensors

Ikuti langkah-langkah berikut untuk men-deploy Gemma 4 mulai dari safetensors kustom Anda (misalnya, setelah menyempurnakan model untuk kasus penggunaan Anda):

  • Mengonversi ke format .litertlm:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Men-deploy menggunakan API lintas platform LiteRT-LM:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Ringkasan Performa

Gemma-4-E2B

  • Ukuran Model: 2,58 GB

  • Detail teknis tambahan ada di kartu model HuggingFace

    Platform (Perangkat) Backend Isi otomatis (tk/s) Mendekode (tk/s) Waktu hingga Token Pertama (detik) Memori CPU Puncak (MB)
    Android (S26 Ultra) CPU 557 47 1,8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0,3 1450
    Linux (Arm 2,3 & 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0,1 1623
    Windows (Intel LunarLake) CPU 435 30 2,4 3505
    GPU 3751 48 0,3 3540
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546

Gemma-4-E4B

  • Ukuran Model: 3,65 GB

  • Detail teknis tambahan ada di kartu model HuggingFace

    Platform (Perangkat) Backend Isi otomatis (tk/s) Mendekode (tk/s) Waktu hingga Token Pertama (detik) Memori CPU Puncak (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) CPU 159 10 6,5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2,3 & 2,8 GHz / RTX 4090) CPU 82 18 12.6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0,4 3217
    Windows (Intel LunarLake) CPU 173 17 6.0 9372
    GPU 1202 25 0,9 7147
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20,5 3069