Gemma 4

Gemma 4 모델은 각 크기에서 최첨단 성능을 제공하도록 설계되었으며, 모바일 및 에지 기기 (E2B, E4B)에서 소비자 GPU 및 워크스테이션 (26B A4B, 31B)까지 배포 시나리오를 타겟팅합니다. 추론, 에이전트형 워크플로, 코딩, 멀티모달 이해에 적합합니다.

Gemma 4는 Apache-2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Gemma 4 모델 카드를 참고하세요.

시작하기

Hugging Face LiteRT 커뮤니티에서 호스팅되는 Gemma4-E2B와 채팅하세요.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Safetensors에서 배포

다음 단계에 따라 맞춤 safetensors에서 Gemma 4를 배포합니다 (예: 사용 사례에 맞게 모델을 파인 튜닝한 후).

  • .litertlm 형식으로 변환합니다.

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • LiteRT-LM 크로스 플랫폼 API를 사용하여 배포합니다.

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

실적 요약

Gemma-4-E2B

  • 모델 크기: 2.58GB

  • 추가 기술 세부정보는 HuggingFace 모델 카드에 있습니다.

    플랫폼 (기기) 백엔드 미리 채우기 (tk/s) 디코딩 (tk/s) 첫 번째 토큰까지의 시간 (초) 최대 CPU 메모리 (MB)
    Android (S26 Ultra) CPU 557 47 1.8 1733
    GPU 3808 52 0.3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0.3 1450
    Linux (Arm 2.3 및 2.8GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0.1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0.1 1623
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546

Gemma-4-E4B

  • 모델 크기: 3.65GB

  • 추가 기술 세부정보는 HuggingFace 모델 카드에 있습니다.

    플랫폼 (기기) 백엔드 미리 채우기 (tk/s) 디코딩 (tk/s) 첫 번째 토큰까지의 시간 (초) 최대 CPU 메모리 (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0.8 710
    iOS (iPhone 17 Pro) CPU 159 10 6.5 961
    GPU 1189 25 0.9 3380
    Linux (Arm 2.3 및 2.8GHz / RTX 4090) CPU 82 18 12.6 3139
    GPU 7260 91 0.2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0.4 3217
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20.5 3069