Gemma 4 模型旨在在各种规模下提供前沿性能，目标部署场景涵盖移动设备和边缘设备 (E2B、E4B) 到消费类 GPU 和工作站 (26B A4B、31B)。它们非常适合推理、代理工作流、编码和多模态理解。
Gemma 4 根据 Apache-2.0 许可获得授权。如需了解详情，请参阅 Gemma 4 模型卡片。
🔴 新功能：多 token 预测
多 token 预测 (MTP) 是一种新的性能优化，可显著加快 CPU 和 GPU 后端的解码速度，且不会降低质量。
- 性能提升
- GPU ：大幅加速，在移动 GPU 上实现高达 2.2 倍的解码速度提升。
- CPU ：在移动 CPU 上实现高达 1.5 倍的速度提升，并在支持 SME 的硬件（例如 M4 MacBook）上实现显著加速。
- 建议 ：对于 GPU 后端上的所有任务以及 CPU 上的 Gemma4-E4B 模型，普遍建议使用 MTP。对于 CPU 上的 Gemma4-E2B 模型，它对于重写、摘要和编码任务非常有价值，但应有选择地启用，因为它可能会在自由形式提示或生成任务期间导致轻微减速。
如需试用，请参阅特定于平台的指南：
开始使用
与托管在 Hugging Face LiteRT 社区上的 Gemma4-E2B 聊天。
uv tool install litert-lm
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--prompt="What is the capital of France?"
从 Safetensors 部署
按照以下步骤部署 Gemma 4，从您的自定义 safetensors 开始（例如，在针对您的用例对模型进行微调后）：
转换为
.litertlm格式：uv tool install litert-torch-nightly litert-torch export_hf \ --model=google/gemma-4-E2B-it \ --output_dir=/tmp/gemma4_2b \ --externalize_embedder \ --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm使用 LiteRT-LM 跨平台 API 进行部署：
litert-lm run \ /tmp/gemma4_2b/model.litertlm \ --prompt="What is the capital of France?"
效果摘要
Gemma-4-E2B
- 模型大小：2.58 GB
如需了解更多技术详情，请参阅 HuggingFace 模型卡片
平台（设备） 后端 预填充 (tk/s) 解码 (tk/s) 首 token 延迟（秒） CPU 内存峰值 (MB) Android (S26 Ultra) CPU 557 47 1.8 1733 GPU 3808 52 0.3 676 iOS (iPhone 17 Pro) CPU 532 25 1.9 607 GPU 2878 56 0.3 1450 Linux (Arm 2.3 &2.8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628 GPU 11234 143 0.1 913 macOS (MacBook Pro M4) CPU 901 42 1.1 736 GPU 7835 160 0.1 1623 IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546
Gemma-4-E4B
- 模型大小：3.65 GB
如需了解更多技术详情，请参阅 HuggingFace 模型卡片
平台（设备） 后端 预填充 (tk/s) 解码 (tk/s) 首 token 延迟（秒） CPU 内存峰值 (MB) Android (S26 Ultra) CPU 195 18 5.3 3283 GPU 1293 22 0.8 710 iOS (iPhone 17 Pro) CPU 159 10 6.5 961 GPU 1189 25 0.9 3380 Linux (Arm 2.3 &2.8GHz / RTX 4090) CPU 82 18 12.6 3139 GPU 7260 91 0.2 1119 macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890 GPU 2560 101 0.4 3217 IoT (Raspberry Pi 5 16GB) CPU 51 3 20.5 3069