Gemma 4

โมเดล Gemma 4 ได้รับการออกแบบมาเพื่อให้มีประสิทธิภาพระดับแนวหน้าในแต่ละขนาด โดยมุ่งเป้าไปที่สถานการณ์การใช้งานตั้งแต่อุปกรณ์เคลื่อนที่และอุปกรณ์ Edge (E2B, E4B) ไปจนถึง GPU สำหรับผู้บริโภคและเวิร์กสเตชัน (26B A4B, 31B) และเหมาะสำหรับการให้เหตุผล เวิร์กโฟลว์แบบ Agent การเขียนโค้ด และความเข้าใจแบบ Multimodal

Gemma 4 ได้รับอนุญาตให้ใช้งานภายใต้ใบอนุญาต Apache-2.0 ดูรายละเอียดเพิ่มเติมได้ที่ การ์ดโมเดล Gemma 4

🔴 มีอะไรใหม่: การคาดการณ์หลายโทเค็น

การคาดการณ์หลายโทเค็น (Multi-Token Prediction หรือ MTP) เป็นการเพิ่มประสิทธิภาพใหม่ที่ช่วยเร่งความเร็วในการถอดรหัสแบ็กเอนด์ CPU และ GPU อย่างมากโดยไม่ทำให้คุณภาพลดลง

  • การเพิ่มประสิทธิภาพ:
    • GPU: เร่งความเร็วอย่างมาก โดยเพิ่มความเร็วในการถอดรหัส GPU สำหรับอุปกรณ์เคลื่อนที่ได้สูงสุด 2.2 เท่า
    • CPU: เพิ่มประสิทธิภาพ CPU สำหรับอุปกรณ์เคลื่อนที่ได้สูงสุด 1.5 เท่า และเร่งความเร็วฮาร์ดแวร์ที่เปิดใช้ SME อย่างมาก (เช่น MacBook M4)
  • คำแนะนำ: เราขอแนะนำให้ใช้ MTP กับงานทั้งหมดในแบ็กเอนด์ GPU และโมเดล Gemma4-E4B ใน CPU สำหรับโมเดล Gemma4-E2B ใน CPU นั้น มีประโยชน์อย่างยิ่งสำหรับงานการเขียนใหม่ การสรุป และการเขียนโค้ด แต่ควรเปิดใช้แบบเลือกสรรเนื่องจากอาจทำให้เกิดการชะลอตัวเล็กน้อยระหว่างการแจ้งพรอมต์แบบอิสระหรืองานที่สร้างขึ้น

หากต้องการลองใช้ ให้ดูคำแนะนำเฉพาะแพลตฟอร์มต่อไปนี้

เริ่มต้นใช้งาน

แชทกับ Gemma4-E2B ซึ่งโฮสต์อยู่ในชุมชน Hugging Face LiteRT

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

ติดตั้งใช้งานจาก Safetensors

ทำตามขั้นตอนต่อไปนี้เพื่อติดตั้งใช้งาน Gemma 4 โดยเริ่มจาก Safetensors ที่กำหนดเอง (เช่น หลังจากปรับแต่งโมเดลให้เหมาะกับกรณีการใช้งานของคุณ)

  • แปลงเป็นรูปแบบ .litertlm โดยทำดังนี้

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • ติดตั้งใช้งานโดยใช้ LiteRT-LM API ข้ามแพลตฟอร์มโดยทำดังนี้

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

สรุปประสิทธิภาพ

Gemma-4-E2B

  • ขนาดโมเดล: 2.58 GB

  • ดูรายละเอียดทางเทคนิคเพิ่มเติมได้ในการ์ดโมเดล HuggingFace

    แพลตฟอร์ม (อุปกรณ์) แบ็กเอนด์ การเติมข้อมูลล่วงหน้า (โทเค็น/วินาที) การถอดรหัส (โทเค็น/วินาที) เวลาที่ใช้ในการแสดงโทเค็นแรก (วินาที) หน่วยความจำ CPU สูงสุด (MB)
    Android (S26 Ultra) CPU 557 47 1.8 1733
    GPU 3808 52 0.3 676
    iOS (iPhone 17 Pro) CPU 532 25 1.9 607
    GPU 2878 56 0.3 1450
    Linux (Arm 2.3 และ 2.8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628
    GPU 11234 143 0.1 913
    macOS (MacBook Pro M4) CPU 901 42 1.1 736
    GPU 7835 160 0.1 1623
    IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546

Gemma-4-E4B

  • ขนาดโมเดล: 3.65 GB

  • ดูรายละเอียดทางเทคนิคเพิ่มเติมได้ในการ์ดโมเดล HuggingFace

    แพลตฟอร์ม (อุปกรณ์) แบ็กเอนด์ การเติมข้อมูลล่วงหน้า (โทเค็น/วินาที) การถอดรหัส (โทเค็น/วินาที) เวลาที่ใช้ในการแสดงโทเค็นแรก (วินาที) หน่วยความจำ CPU สูงสุด (MB)
    Android (S26 Ultra) CPU 195 18 5.3 3283
    GPU 1293 22 0.8 710
    iOS (iPhone 17 Pro) CPU 159 10 6.5 961
    GPU 1189 25 0.9 3380
    Linux (Arm 2.3 และ 2.8 GHz / RTX 4090) CPU 82 18 12.6 3139
    GPU 7260 91 0.2 1119
    macOS (MacBook Pro M4 Max) CPU 277 27 3.7 890
    GPU 2560 101 0.4 3217
    IoT (Raspberry Pi 5 16GB) CPU 51 3 20.5 3069