জেমা ৪

Gemma 4 models are designed to deliver frontier-level performance at each size, targeting deployment scenarios from mobile and edge devices (E2B, E4B) to consumer GPUs and workstations (26B A4B, 31B). They are well-suited for reasoning, agentic workflows, coding, and multimodal understanding.

জেমা ৪ অ্যাপাচি-২.০ লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত। আরও বিস্তারিত জানতে, জেমা ৪ মডেল কার্ড দেখুন।

🔴 নতুন কী আছে: মাল্টি-টোকেন প্রেডিকশন

মাল্টি-টোকেন প্রেডিকশন (MTP) একটি নতুন পারফরম্যান্স অপটিমাইজেশন যা মানের কোনো অবনতি ছাড়াই সিপিইউ এবং জিপিইউ ব্যাকএন্ড জুড়ে ডিকোড গতি উল্লেখযোগ্যভাবে বাড়িয়ে দেয়।

  • কর্মক্ষমতার উন্নতি:
    • জিপিইউ: ব্যাপক ত্বরণ, যা মোবাইল জিপিইউ-তে ডিকোড করার গতি ২.২ গুণ পর্যন্ত বাড়িয়ে দেয়।
    • সিপিইউ: মোবাইল সিপিইউ-তে পারফরম্যান্স ১.৫ গুণ পর্যন্ত বৃদ্ধি পায় এবং এসএমই-সক্ষম হার্ডওয়্যারে (যেমন, এম৪ ম্যাকবুক) উল্লেখযোগ্য গতি বৃদ্ধি পায়।
  • Recommendations: MTP is universally recommended for all tasks on GPU backends and for the Gemma4-E4B model on CPU. For the Gemma4-E2B model on CPU, it is highly valuable for rewrite, summarize, and coding tasks, but should be enabled selectively as it may cause a slight slowdown during freeform prompting or generative tasks.

এটি পরখ করে দেখতে, প্ল্যাটফর্ম-নির্দিষ্ট নির্দেশিকাগুলো দেখুন:

শুরু করুন

হাগিং ফেস লিটার্ট কমিউনিটিতে আয়োজিত জেমা৪-ই২বি (Gemma4-E2B)-এর সাথে চ্যাট করুন।

uv tool install litert-lm

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

সেফটেনসর থেকে স্থাপন করুন

আপনার নিজস্ব সেফটেনসর থেকে জেমা ৪ স্থাপন করতে এই ধাপগুলো অনুসরণ করুন (উদাহরণস্বরূপ, আপনার ব্যবহারের জন্য মডেলটি সূক্ষ্মভাবে সমন্বয় করার পর):

  • .litertlm ফরম্যাটে রূপান্তর করুন:

    uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=google/gemma-4-E2B-it \
  --output_dir=/tmp/gemma4_2b \
  --externalize_embedder \
  --jinja_chat_template_override=litert-community/gemma-4-E2B-it-litert-lm

  • LiteRT-LM ক্রস-প্ল্যাটফর্ম এপিআই ব্যবহার করে স্থাপন করুন:

    litert-lm run  \
  /tmp/gemma4_2b/model.litertlm \
  --prompt="What is the capital of France?"

কর্মক্ষমতার সারাংশ

জেমা-৪-ই২বি

  • মডেলের আকার: ২.৫৮ জিবি

  • অতিরিক্ত প্রযুক্তিগত বিবরণ হাগিংফেস মডেল কার্ডে রয়েছে।

    প্ল্যাটফর্ম (ডিভাইস) ব্যাকএন্ড প্রিফিল (tk/s) ডিকোড (tk/s) প্রথম টোকেন পেতে সময় (সেকেন্ড) সর্বোচ্চ সিপিইউ মেমরি (এমবি)
    অ্যান্ড্রয়েড (এস২৬ আল্ট্রা) সিপিইউ ৫৫৭ ৪৭ ১.৮ ১৭৩৩
    জিপিইউ ৩৮০৮ ৫২ ০.৩ ৬৭৬
    iOS (iPhone 17 Pro) সিপিইউ ৫৩২ ২৫ ১.৯ ৬০৭
    জিপিইউ ২৮৭৮ ৫৬ ০.৩ ১৪৫০
    লিনাক্স (আর্ম ২.৩ ও ২.৮ গিগাহার্টজ, এনভিডিয়া জিফোর্স আরটিএক্স ৪০৯০) সিপিইউ ২৬০ ৩৫ ৪ ১৬২৮
    জিপিইউ ১১২৩৪ ১৪৩ ০.১ ৯১৩
    ম্যাকওএস (ম্যাকবুক প্রো এম৪) সিপিইউ ৯০১ ৪২ ১.১ ৭৩৬
    জিপিইউ ৭৮৩৫ ১৬০ ০.১ ১৬২৩
    IoT (রাস্পবেরি পাই ৫ ১৬জিবি) সিপিইউ ১৩৩ ৮ ৭.৮ ১৫৪৬

জেমা-৪-ই৪বি

  • মডেলের আকার: ৩.৬৫ জিবি

  • অতিরিক্ত প্রযুক্তিগত বিবরণ হাগিংফেস মডেল কার্ডে রয়েছে।

    প্ল্যাটফর্ম (ডিভাইস) ব্যাকএন্ড প্রিফিল (tk/s) ডিকোড (tk/s) প্রথম টোকেন পেতে সময় (সেকেন্ড) সর্বোচ্চ সিপিইউ মেমরি (এমবি)
    অ্যান্ড্রয়েড (এস২৬ আল্ট্রা) সিপিইউ ১৯৫ ১৮ ৫.৩ ৩২৮৩
    জিপিইউ ১২৯৩ ২২ ০.৮ ৭১০
    iOS (iPhone 17 Pro) সিপিইউ ১৫৯ ১০ ৬.৫ ৯৬১
    জিপিইউ ১১৮৯ ২৫ ০.৯ ৩৩৮০
    লিনাক্স (আর্ম ২.৩ ও ২.৮ গিগাহার্টজ / আরটিএক্স ৪০৯০) সিপিইউ ৮২ ১৮ ১২.৬ ৩১৩৯
    জিপিইউ ৭২৬০ ৯১ ০.২ ১১১৯
    ম্যাকওএস (ম্যাকবুক প্রো এম৪ ম্যাক্স) সিপিইউ ২৭৭ ২৭ ৩.৭ ৮৯০
    জিপিইউ ২৫৬০ ১০১ ০.৪ ৩২১৭
    IoT (রাস্পবেরি পাই ৫ ১৬জিবি) সিপিইউ ৫১ ৩ ২০.৫ ৩০৬৯