Gemma 4

Gemma 4 모델은 각 크기에서 최첨단 수준의 성능을 제공하도록 설계되었으며, 모바일 및 에지 기기 (E2B, E4B)부터 소비자 GPU 및 워크스테이션 (26B A4B, 31B)까지 다양한 배포 시나리오를 타겟팅합니다. 추론, 에이전트형 워크플로, 코딩, 멀티모달 이해에 적합합니다.

Gemma 4는 Apache-2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Gemma 4 모델 카드를 참고하세요.

🔴 새로운 기능: 멀티 토큰 예측

다중 토큰 예측 (MTP)은 품질 저하 없이 CPU 및 GPU 백엔드에서 디코딩 속도를 크게 가속화하는 새로운 성능 최적화입니다.

  • 성능 향상:
    • GPU: 모바일 GPU에서 최대 2.2배의 디코딩 속도 향상을 제공하는 대규모 가속
    • CPU: 모바일 CPU에서 최대 1.5배 빠른 성능 향상과 SME 지원 하드웨어 (예: M4 MacBook)에서 상당한 가속을 제공합니다.
  • 권장사항: MTP는 GPU 백엔드의 모든 작업과 CPU의 Gemma4-E4B 모델에 보편적으로 권장됩니다. CPU의 Gemma4-E2B 모델은 다시 쓰기, 요약, 코딩 작업에 매우 유용하지만, 자유 형식 프롬프트 또는 생성 작업 중에 약간의 속도 저하가 발생할 수 있으므로 선택적으로 사용 설정해야 합니다.

사용해 보려면 플랫폼별 가이드를 참고하세요.

시작하기

Hugging Face LiteRT 커뮤니티에서 호스팅되는 Gemma4-E2B와 채팅하세요.

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

Safetensors에서 배포

다음 단계에 따라 맞춤 safetensors에서 Gemma 4를 배포합니다 (예: 사용 사례에 맞게 모델을 미세 조정 후).

  • .litertlm 형식으로 변환합니다.

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • LiteRT-LM 크로스 플랫폼 API를 사용하여 배포합니다.

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

실적 요약

Gemma-4-E2B

  • 모델 크기: 2.58GB

  • 추가 기술 세부정보는 HuggingFace 모델 카드를 참고하세요.

    플랫폼 (기기) 백엔드 미리 채우기 (tk/s) 디코딩 (tk/s) 첫 번째 토큰까지의 시간 (초) 최대 CPU 메모리 (MB)
    Android (S26 Ultra) CPU 557 47 1.8 1733
    GPU 3808 52 0.3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0.3 1450
    Linux (Arm 2.3 및 2.8GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0.1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0.1 1623
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546

Gemma-4-E4B

  • 모델 크기: 3.65GB

  • 추가 기술 세부정보는 HuggingFace 모델 카드를 참고하세요.

    플랫폼 (기기) 백엔드 미리 채우기 (tk/s) 디코딩 (tk/s) 첫 번째 토큰까지의 시간 (초) 최대 CPU 메모리 (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0.8 710
    iOS (iPhone 17 Pro) CPU 159 10 6.5 961
    GPU 1189 25 0.9 3380
    Linux (Arm 2.3 및 2.8GHz / RTX 4090) CPU 82 18 12.6 3139
    GPU 7260 91 0.2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0.4 3217
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20.5 3069