Gemma 4 モデルは、モバイル デバイスやエッジデバイス（E2B、E4B）からコンシューマー GPU やワークステーション（26B A4B、31B）までのデプロイ シナリオを対象に、各サイズで最先端のパフォーマンスを実現するように設計されています。推論、エージェント ワークフロー、コーディング、マルチモーダル理解に適しています。
Gemma 4 は Apache-2.0 ライセンスに基づいて使用が許諾されています。詳細については、Gemma 4 モデルカードをご覧ください。
使ってみる
Hugging Face LiteRT Community でホストされている Gemma4-E2B とチャットします。
uv tool install litert-lm
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--prompt="What is the capital of France?"
Safetensors からデプロイする
次の手順に沿って、カスタム safetensors から Gemma 4 をデプロイします（ユースケースに合わせてモデルをファインチューニングした後など）。
.litertlm形式に変換します。uv tool install litert-torch-nightly litert-torch export_hf \ --model=google/gemma-4-E2B-it \ --output_dir=/tmp/gemma4_2b \ --externalize_embedder \ --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lmLiteRT-LM クロス プラットフォーム API を使用してデプロイします。
litert-lm run \ /tmp/gemma4_2b/model.litertlm \ --prompt="What is the capital of France?"
パフォーマンスの概要
Gemma-4-E2B
- モデルサイズ: 2.58 GB
その他の技術的な詳細については、HuggingFace モデルカードをご覧ください。
プラットフォーム（デバイス） バックエンド プレフィル（tk/s） Decode（tk/s） 最初のトークンまでの時間（秒） ピーク時の CPU メモリ（MB） Android（S26 Ultra） CPU 557 47 1.8 1733 GPU 3808 52 0.3 676 iOS（iPhone 17 Pro） CPU 532 25 1.9 607 GPU 2878 56 0.3 1450 Linux（Arm 2.3 & 2.8 GHz、NVIDIA GeForce RTX 4090） CPU 260 35 4 1628 GPU 11234 143 0.1 913 macOS（MacBook Pro M4） CPU 901 42 1.1 736 GPU 7835 160 0.1 1623 IoT（Raspberry Pi 5 16 GB） CPU 133 8 7.8 1546
Gemma-4-E4B
- モデルサイズ: 3.65 GB
その他の技術的な詳細については、HuggingFace モデルカードをご覧ください。
プラットフォーム（デバイス） バックエンド プレフィル（tk/s） Decode（tk/s） 最初のトークンまでの時間（秒） ピーク時の CPU メモリ（MB） Android（S26 Ultra） CPU 195 18 5.3 3283 GPU 1293 22 0.8 710 iOS（iPhone 17 Pro） CPU 159 10 6.5 961 GPU 1189 25 0.9 3380 Linux（Arm 2.3 および 2.8 GHz / RTX 4090） CPU 82 18 12.6 3139 GPU 7260 91 0.2 1119 macOS（MacBook Pro M4 Max） CPU 277 27 3.7 890 GPU 2560 101 0.4 3217 IoT（Raspberry Pi 5 16 GB） CPU 51 3 20.5 3069