Gemma 4

Gemma 4 模型旨在提供各种规模的先进性能，目标部署场景涵盖移动设备和边缘设备 (E2B、E4B) 到消费类 GPU 和工作站 (26B A4B、31B)。它们非常适合推理、智能体工作流、编码和多模态理解。

Gemma 4 根据 Apache-2.0 许可获得授权。如需了解详情，请参阅 Gemma 4 模型卡片。

开始使用

与托管在 Hugging Face LiteRT 社区中的 Gemma4-E2B 对话。

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

从 Safetensors 部署

按照以下步骤部署 Gemma 4，从自定义 safetensors 开始（例如，在针对您的使用情形对模型进行微调后）：

  • 转换为 .litertlm 格式：

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • 使用 LiteRT-LM 跨平台 API 进行部署：

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

效果摘要

Gemma-4-E2B

  • 模型大小：2.58 GB

  • 如需了解更多技术详情，请参阅 HuggingFace 模型卡片

    平台（设备） 后端 预填充（每秒 token 数） 解码（每秒 token 数） 首 token 延迟（秒） CPU 内存峰值 (MB)
    Android (S26 Ultra) CPU 557 47 1.8 1733
    GPU 3808 52 0.3 676
    iOS（iPhone 17 Pro） CPU 532 25 1.9 607
    GPU 2878 56 0.3 1450
    Linux（Arm 2.3 和 2.8 GHz，NVIDIA GeForce RTX 4090） CPU 260 35 4 1628
    GPU 11234 143 0.1 913
    macOS（MacBook Pro M4） CPU 901 42 1.1 736
    GPU 7835 160 0.1 1623
    物联网（Raspberry Pi 5 16GB） CPU 133 8 7.8 1546

Gemma-4-E4B

  • 模型大小：3.65 GB

  • 如需了解更多技术详情，请参阅 HuggingFace 模型卡片

    平台（设备） 后端 预填充（每秒 token 数） 解码（每秒 token 数） 首 token 延迟（秒） CPU 内存峰值 (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0.8 710
    iOS（iPhone 17 Pro） CPU 159 10 6.5 961
    GPU 1189 25 0.9 3380
    Linux（Arm 2.3 和 2.8GHz / RTX 4090） CPU 82 18 12.6 3139
    GPU 7260 91 0.2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0.4 3217
    物联网（Raspberry Pi 5 16GB） CPU 51 3 20.5 3069