Gemma 4

Các mô hình Gemma 4 được thiết kế để mang lại hiệu suất ở cấp độ tiên tiến cho từng kích thước, nhắm đến các trường hợp triển khai từ thiết bị di động và thiết bị biên (E2B, E4B) đến GPU và máy trạm tiêu dùng (26B A4B, 31B). Các mô hình này rất phù hợp với hoạt động suy luận, quy trình làm việc dựa trên tác nhân, lập trình và hiểu biết đa phương thức.

Gemma 4 được cấp phép theo giấy phép Apache-2.0. Để biết thêm thông tin chi tiết, hãy xem Thẻ mô hình Gemma 4.

🔴 Tính năng mới: Dự đoán nhiều mã thông báo

Dự đoán nhiều token (MTP) là một phương pháp tối ưu hoá hiệu suất mới giúp tăng tốc đáng kể tốc độ giải mã trên các phần phụ trợ CPU và GPU mà không làm giảm chất lượng.

  • Mức tăng về hiệu suất:
    • GPU: Tăng tốc đáng kể, mang lại tốc độ giải mã nhanh hơn gấp 2,2 lần trên GPU di động.
    • CPU: Tăng hiệu suất lên đến 1,5 lần trên CPU di động và tăng tốc đáng kể trên phần cứng có hỗ trợ SME (ví dụ: MacBook M4).
  • Đề xuất: Bạn nên dùng MTP cho tất cả các tác vụ trên các phần phụ trợ GPU và cho mô hình Gemma4-E4B trên CPU. Đối với mô hình Gemma4-E2B trên CPU, mô hình này rất hữu ích cho các tác vụ viết lại, tóm tắt và viết mã, nhưng bạn nên chọn lọc khi bật mô hình này vì mô hình có thể gây ra tình trạng chậm nhẹ trong quá trình đưa ra câu lệnh tự do hoặc các tác vụ tạo sinh.

Để dùng thử, hãy xem hướng dẫn dành riêng cho từng nền tảng:

Bắt đầu

Trò chuyện với Gemma4-E2B, được lưu trữ trên Cộng đồng Hugging Face LiteRT.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Triển khai từ Safetensors

Làm theo các bước sau để triển khai Gemma 4 bắt đầu từ safetensors tuỳ chỉnh của bạn (ví dụ: sau khi tinh chỉnh mô hình cho trường hợp sử dụng của bạn):

  • Chuyển đổi sang định dạng .litertlm:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • Triển khai bằng API đa nền tảng LiteRT-LM:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

Tóm tắt hiệu suất

Gemma-4-E2B

  • Kích thước mô hình: 2,58 GB

  • Bạn có thể xem thêm thông tin kỹ thuật trong thẻ mô hình HuggingFace

    Nền tảng (Thiết bị) Phụ trợ Điền sẵn (tk/s) Giải mã (tk/s) Thời gian cho mã thông báo đầu tiên (giây) Bộ nhớ CPU cao nhất (MB)
    Android (S26 Ultra) CPU 557 47 1,8 1733
    GPU 3808 52 0,3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0,3 1450
    Linux (Arm 2,3 và 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0,1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0,1 1623
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546

Gemma-4-E4B

  • Kích thước mô hình: 3,65 GB

  • Bạn có thể xem thêm thông tin kỹ thuật trong thẻ mô hình HuggingFace

    Nền tảng (Thiết bị) Phụ trợ Điền sẵn (tk/s) Giải mã (tk/s) Thời gian cho mã thông báo đầu tiên (giây) Bộ nhớ CPU cao nhất (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0,8 710
    iOS (iPhone 17 Pro) CPU 159 10 6,5 961
    GPU 1189 25 0,9 3380
    Linux (Arm 2.3 và 2.8GHz / RTX 4090) CPU 82 18 12,6 3139
    GPU 7260 91 0,2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0,4 3217
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20,5 3069