بطاقة نموذج DiffusionGemma

Hugging Face | GitHub | مدونة الإطلاق | المستندات
الترخيص: Apache 2.0 | المؤلفون: Google DeepMind

‫DiffusionGemma هو نموذج توليدي من إنشاء Google DeepMind. تستند DiffusionGemma إلى بنية Gemma 4 التي تضم 26 مليار مَعلمة و4 مليارات مَعلمة نشطة (A4B) من نوع Mixture-of-Experts (MoE)، وتنشئ الرموز المميزة باستخدام الانتشار المنفصل. هذا النموذج المفتوح المصدر متعدّد الوسائط، إذ يمكنه معالجة النصوص والصور والفيديوهات لإنشاء مخرجات نصية.

تم تصميم DiffusionGemma، المستند إلى أساس MoE، لتحسين سرعة الإنشاء (الرموز المميزة في الثانية) مع إمكانية نشره على مختلف بيئات الأجهزة. يستند DiffusionGemma إلى التحسينات المعمارية وتحسينات القدرات التي تم إدخالها على Gemma 4، ويقدّم العديد من الميزات الأساسية:

  • Discrete Text Diffusion: ينتقل هذا النموذج من الانحدار التلقائي المستند إلى الرموز المميزة إلى أخذ العيّنات من اللوحات المتعددة للانحدار التلقائي المستند إلى الحظر، وينشئ النص من خلال إزالة التشويش بشكل متكرر من حظر الرموز المميزة (لوحة) بالتوازي، ما يؤدي إلى زيادة سرعة فك الترميز بشكل كبير.
  • معالجة المدخلات المتعدّدة الوسائط: تعالج هذه الميزة النصوص المتداخلة والصور (مع إمكانية تغيير نسبة العرض إلى الارتفاع والدقة) والفيديوهات لإنشاء مخرجات نصية.
  • بنية برنامج الترميز وفك الترميز: تستخدم برنامج ترميز انحداري تلقائي لمعالجة سياق الطلب وتخزينه مؤقتًا، بالإضافة إلى برنامج فك ترميز يطبّق الانتباه الثنائي الاتجاه على لوحة إنشاء الصور.
  • كفاءة Mixture-of-Experts (MoE): يستفيد هذا النموذج من تصميم MoE متفرّق (8 خبراء نشطين من إجمالي 128) لتوفير إمكانات استدلال قوية مع الحفاظ على استهلاك ذاكرة منخفض مناسب للتنفيذ المحلي.
  • وضع التفكير (الاستدلال): تم تصميمه ليكون نموذجًا عالي القدرة على الاستدلال، مع أوضاع تفكير قابلة للضبط.
  • محسَّنة للاستدلال بحجم الدفعات الصغيرة: تم تصميمها خصيصًا لإنشاء المحتوى بسرعة عالية وبزمن استجابة منخفض على مسرّع واحد فعّال.
  • التوافق مع طلبات النظام الأصلية: كما هو الحال مع Gemma 4، يتيح هذا الإصدار تعديل دور system، ما يتيح إجراء محادثات أكثر تنظيمًا وقابلة للتحكّم.

نظرة عامة على النموذج

تم تصميم DiffusionGemma للحدّ من الاختناقات التسلسلية في نماذج اللغة السببية العادية، وهي تستخدم بنية برنامج ترميز وفك ترميز تم تحسينها خصيصًا لزيادة سرعة الاستنتاج.

يعمل برنامج الترميز بقدرة التعبئة المسبقة، حيث يعالج الطلب الأولي وينشئ ذاكرة التخزين المؤقت لقيم المفاتيح. ثم يستخدم برنامج فك الترميز الانتباه الثنائي الاتجاه لمعالجة حزمة إدخال (لوحة) من الرموز المميزة، والوصول إلى السياق المخزّن مؤقتًا من خلال الانتباه المتقاطع.

أثناء الاستدلال، تستفيد DiffusionGemma من أخذ العيّنات من لوحات متعدّدة. وبدلاً من إنشاء رمز مميّز واحد في كل مرة، يزيل النموذج الضوضاء بشكل متكرّر من مجموعة كاملة من الرموز المميزة باستخدام أداة أخذ العيّنات من الانتشار. وبعد إزالة الضوضاء من اللوحة بالكامل، تتم معالجتها بواسطة أداة الترميز وإلحاقها بذاكرة التخزين المؤقت KV، وبعد ذلك ينشئ النموذج اللوحة التالية. يسهّل هذا النهج التلقائي التراجعي إنشاء النصوص بسرعات أعلى.

DiffusionGemma

| إجمالي المَعلمات | 25.2 مليار | | المَعلمات النشطة | 3.8 مليار | | الطبقات | 30 | | النافذة المنزلقة | 1024 رمزًا مميزًا | | طول السياق | ما يصل إلى 256 ألف رمز مميز | | طول لوحة العرض | 256 | | حجم المفردات | 262 ألف | | عدد الخبراء | 8 نشطين / 128 إجمالي و1 مشترك | | الوسائط المتوافقة | نص وصورة | | مَعلمات ترميز الصور | ~550 مليون |

نتائج قياس الأداء

تم تقييم هذه النماذج استنادًا إلى مجموعة كبيرة من مجموعات البيانات والمقاييس المختلفة لتغطية جوانب مختلفة من إنشاء النصوص. نتائج التقييم التي تم وضع علامة عليها في الجدول هي لنماذج تم ضبطها وفقًا للتعليمات، مع استخدام أداة أخذ العيّنات Entropy Bound (EB) المقترَحة (راجِع أفضل الممارسات أدناه).

مقياس الأداء ‫DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro ‫77.6% ‫82.6%
AIME 2026 no tools ‫69.1% ‫88.3%
LiveCodeBench v6 ‫69.1% 77.1%
Codeforces ELO 1429 1718
GPQA Diamond ‫73.2% ‫82.3%
Tau2 (المتوسط على مدى 3 أيام) ‫56.2% ‫68.2%
HLE no tools 11.0% ‫8.7%
HLE مع البحث ‫11.9% 17.2%
BigBench Extra Hard ‫47.6% ‫64.8%
MMMLU ‫81.5% ‫86.3%
النظر
MMMU Pro ‫54.3% ‫73.8%
‫OmniDocBench 1.5 (متوسط مسافة التعديل، وكلما كانت القيمة أقل كان ذلك أفضل) 0.319 0.149
MATH-Vision 70.5% 82.4%
MedXPertQA MM 49.0% ‫58.1%
سياق طويل
MRCR v2 8 needle 128k (average) ‫32.0% ‫44.1%

الإمكانات الأساسية

يمكن استخدام DiffusionGemma في مجموعة كبيرة من المهام المتعلقة بالنصوص والصور. تشمل الإمكانات الرئيسية ما يلي:

  • إنشاء المحتوى بسرعة عالية: يتيح التخفيف المتوازي للتشويش في 256 رمزًا مميزًا من خلال أخذ عينات الانتشار تحقيق زمن انتقال منخفض عن طريق إنشاء 15 إلى 20 رمزًا مميزًا لكل تمريرة أمامية، ما يتيح سرعات إنشاء تتجاوز 1100 رمز مميز في الثانية لكل مستخدم في إعدادات حجم الدُفعة المنخفضة (H100، وFP8).
  • احتساب وقت الاستدلال التكيّفي: تتطلّب الطلبات الأبسط والمهام المنظَّمة، مثل كتابة الرموز البرمجية، عددًا أقل من خطوات إزالة التشويش، ما يتيح سرعات ديناميكية للرموز المميزة في الثانية استنادًا إلى مدى تعقيد المهمة.
  • وضع المفكِّر: وضع استدلال منطقي مدمج يتيح للنموذج التفكير خطوة بخطوة قبل تقديم الإجابة.
  • سياق طويل: قدرات استيعاب تصل إلى 256 ألف رمز مميز
  • فهم الصور: رصد العناصر، وتحليل المستندات/ملفات PDF، وفهم الشاشة وواجهة المستخدم، وفهم الرسوم البيانية، والتعرّف البصري على الأحرف (بما في ذلك اللغات المتعددة)، والتعرّف على الكتابة اليدوية، والإشارة يمكن معالجة الصور بنِسب عرض إلى ارتفاع ودقة متغيرة.
  • فهم الفيديو: يحلّل محتوى الفيديو ويصفه من خلال معالجة تسلسلات اللقطات.
  • الإدخال المتداخل المتعدد الوسائط: يمكنك دمج الصور والفيديوهات والنصوص في طلب واحد للحصول على استدلال غني بالسياق.
  • استدعاء الدوال: توفير دعم أصلي لاستخدام الأدوات المنظَّمة، ما يتيح مهام سير العمل المستندة إلى الوكلاء
  • الترميز والاستدلال: يمكنه إنشاء الرموز البرمجية وإكمالها، بالإضافة إلى الاستدلال المنطقي خطوة بخطوة.
  • متعدد اللغات: يتوافق مع أكثر من 35 لغة، وتم تدريبه مسبقًا على أكثر من 140 لغة.

أفضل الممارسات

للحصول على أفضل أداء، استخدِم الإعدادات وأفضل الممارسات التالية:

1. إعدادات أخذ العيّنات في نماذج الانتشار

استخدِم إعدادات أخذ العيّنات الموحّدة التالية في جميع حالات الاستخدام:

  • الطريقة: جمع العيّنات من خلال الانتشار مع إزالة التشويش المحدود بالإنتروبيا والتوقف التكيّفي.
  • إعدادات أخذ العينات:
    • الحد الأقصى لعدد خطوات إزالة التشويش = 48
    • جدول ضبط درجة الحرارة (لتحديد شكل دالة لوجستية): انخفاض خطي من 0.8 إلى 0.4
    • اختيار الرموز المميزة: في كل خطوة، يختار أداة أخذ العينات الرموز المميزة ذات أقل إنتروبيا، بحيث يظل الحد الأقصى للمعلومات المتبادلة أقل من الحد الأقصى للإنتروبيا = 0.1
    • إزالة التشويش من الرموز المميزة: يعيد أخذ العيّنات إزالة التشويش من الرموز المميزة غير المحدّدة بالكامل
  • الإيقاف التكيّفي: يتم إنهاء أخذ العيّنات مبكرًا إذا تم استيفاء الشرطَين التاليَين في الوقت نفسه:
    • توقّعات موثوقة: متوسط قصور النموذج على مستوى لوحة العرض أقل من حدّ قصور النموذج = 0.005
    • توقّعات ثابتة: تظل توقّعات الرموز المميزة ذات الاحتمالية الأعلى متطابقة خلال خطوتَين متتاليتَين لإزالة التشويش

2. إعدادات "وضع التفكير"

كما هو الحال مع نماذج Gemma 4، نستخدم أدوار system وassistant وuser القياسية. لإدارة عملية التفكير بشكل سليم، استخدِم رموز التحكّم التالية:

  • التفكير عند التفعيل: يتم تفعيل التفكير من خلال تضمين الرمز المميز <|think|> في بداية طلب النظام. لإيقاف التفكير، أزِل الرمز المميز (يُرجى العِلم أنّه قد يتم إصدار قناة تفكير فارغة).
  • الإنشاء العادي: عندما تكون ميزة "التفكير" مفعّلة، سيعرض النموذج الاستدلال الداخلي الخاص به متبوعًا بالإجابة النهائية باستخدام البنية التالية: <|channel>thought\n[الاستدلال الداخلي]<channel|>.
  • إيقاف سلوك التفكير: في حال إيقاف ميزة "التفكير"، سيستمر النموذج في إنشاء العلامات ولكن مع حقل فارغ للتفكير: <|channel>thought\n<channel|>[الجواب النهائي].

يُرجى العِلم أنّ العديد من المكتبات، مثل transformers، تعالج تعقيدات نموذج المحادثة نيابةً عنك.

3- المحادثات المتعدّدة الجولات

  • عدم تضمين محتوى التفكير في السجلّ: في المحادثات المتعددة الأدوار، يجب أن يتضمّن الناتج التاريخي للنموذج الردّ النهائي فقط. يجب عدم إضافة أفكار من نماذج سابقة قبل أن يبدأ دور المستخدم التالي.

4. ترتيب الأنماط

  • للحصول على أفضل أداء عند استخدام مدخلات متعددة الوسائط، ضَع محتوى الصورة قبل النص في طلبك.

5- دقة الصورة المتغيرة

بالإضافة إلى نسب العرض إلى الارتفاع المتغيرة، تتيح DiffusionGemma دقة صورة متغيرة من خلال ميزانية رموز مرئية قابلة للضبط، ما يتحكّم في عدد الرموز المستخدَمة لتمثيل صورة. يؤدي توفير ميزانية أكبر للرموز المميزة إلى الحفاظ على المزيد من التفاصيل المرئية، ولكن بتكلفة حسابية إضافية، بينما تتيح الميزانية الأصغر استنتاجًا أسرع للمهام التي لا تتطلب فهمًا دقيقًا.

  • ميزانيات الرموز المميزة المتاحة هي: 70 و140 و280 و560 و1120.
    • استخدِم ميزانيات أقل للتصنيف أو إضافة الترجمة والشرح أو فهم الفيديو، حيث يكون الاستنتاج الأسرع ومعالجة العديد من اللقطات أكثر أهمية من التفاصيل الدقيقة.
    • استخدِم ميزانيات أعلى لمهام مثل التعرّف البصري على الأحرف أو تحليل المستندات أو قراءة النصوص الصغيرة.

6. مدة الفيديو

تتيح جميع النماذج إدخال الصور ويمكنها معالجة الفيديوهات كإطارات، كما تتيح معالجة فيديوهات بمدة تصل إلى 60 ثانية بافتراض معالجة الصور بمعدل إطار واحد في الثانية.

بيانات النموذج

البيانات المستخدَمة لتدريب النماذج وطريقة معالجتها

مجموعة بيانات التدريب

مجموعة بيانات التدريب المُسبَق هي مجموعة كبيرة ومتنوعة من البيانات تشمل مجموعة واسعة من المجالات وأنواع البيانات، بما في ذلك مستندات الويب والرموز البرمجية والصور والمقاطع الصوتية، مع تاريخ نهائي هو يناير 2025. في ما يلي المكوّنات الرئيسية:

  • مستندات الويب: تضمن المجموعة المتنوعة من نصوص الويب تعرّض النموذج لمجموعة واسعة من الأساليب اللغوية والمواضيع والمفردات، وتشمل مجموعة بيانات التدريب محتوًى بأكثر من 140 لغة.
  • الرموز البرمجية: يساعد عرض الرموز البرمجية على النموذج في تعلُّم بنية ولغة البرمجة، ما يحسّن قدرته على إنشاء الرموز البرمجية وفهم الأسئلة المتعلقة بها.
  • الرياضيات: يساعد التدريب على النصوص الرياضية النموذج في تعلُّم الاستدلال المنطقي والتمثيل الرمزي والرد على الاستفسارات الرياضية.
  • الصور: تتيح المجموعة الواسعة من الصور للنموذج تنفيذ مهام تحليل الصور واستخراج البيانات المرئية.

إنّ الجمع بين مصادر البيانات المتنوّعة هذه أمر بالغ الأهمية لتدريب نموذج قوي متعدد الوسائط يمكنه التعامل مع مجموعة واسعة من المهام وتنسيقات البيانات المختلفة.

المعالجة المُسبقة للبيانات

في ما يلي طرق تنظيف البيانات وفلترتها الرئيسية التي يتم تطبيقها على بيانات التدريب:

  • فلترة مواد الاعتداء الجنسي على الأطفال: تم تطبيق فلترة صارمة لمواد الاعتداء الجنسي على الأطفال في مراحل متعددة من عملية إعداد البيانات لضمان استبعاد المحتوى الضار وغير القانوني.
  • فلترة البيانات الحسّاسة: في إطار سعينا إلى توفير نماذج Gemma مدرَّبة مسبقًا آمنة وموثوقة، استخدمنا تقنيات مبرمَجة لاستبعاد بعض المعلومات الشخصية وغيرها من البيانات الحسّاسة من مجموعات التدريب.
  • طُرق إضافية: الفلترة استنادًا إلى جودة المحتوى وسلامته بما يتوافق مع سياساتنا

الأخلاقيات والأمان

مع ازدياد أهمية النماذج المفتوحة في البنية الأساسية للمؤسسات، أصبحت المصدر والأمان من أهم الأولويات. تم تطوير DiffusionGemma من قِبل Google DeepMind، ويخضع لعمليات التقييم الصارمة نفسها التي تخضع لها نماذج Gemini الخاصة بنا.

منهجية التقييم

تم تطوير DiffusionGemma بالتعاون مع فِرق داخلية متخصّصة في الأمان والذكاء الاصطناعي المسؤول. تم إجراء مجموعة من التقييمات الآلية والتقييمات التي أجراها فريقنا للمساعدة في تحسين أمان النموذج. تتوافق عمليات التقييم هذه مع مبادئ الذكاء الاصطناعي وسياسات الأمان المتّبعة في Google، والتي تهدف إلى منع نماذج الذكاء الاصطناعي التوليدي من إنشاء محتوى ضار، بما في ذلك:

  • المحتوى المتعلّق بمواد الاعتداء الجنسي على الأطفال واستغلالهم
  • المحتوى الخطير (مثل الترويج للانتحار أو تقديم تعليمات حول أنشطة قد تؤدي إلى حدوث أضرار ملموسة)
  • المحتوى الجنسي الفاضح
  • الكلام الذي يحض على الكراهية (مثل تجريد أفراد المجموعات المحمية من الصفات الإنسانية)
  • التحرش (مثلاً، التشجيع على العنف ضد الأشخاص)

نتائج التقييم

في جميع مجالات اختبار الأمان، لاحظنا تحسّنًا كبيرًا في جميع فئات أمان المحتوى مقارنةً بالأجيال السابقة من نماذج Gemma. بشكل عام، يتفوّق نموذج DiffusionGemma بشكل كبير على نماذج Gemma 3 وGemma 3n في تحسين الأمان، مع الحفاظ على معدّل الرفض غير المبرّر منخفضًا، تمامًا مثل نماذج Gemma 4. تم إجراء جميع الاختبارات عمدًا بدون فلاتر أمان لتقييم قدرات النموذج الأساسية وسلوكياته الأساسية. في ما يتعلّق بطلبات وردود نصية وتحويل الصورة إلى نص، وفي جميع أحجام النماذج، لم يسجّل النموذج سوى عدد قليل من انتهاكات السياسات، وحقّق تحسّنًا كبيرًا مقارنةً بنماذج Gemma السابقة.

الاستخدام والقيود

وتتضمّن هذه النماذج بعض القيود التي يجب أن يكون المستخدمون على دراية بها.

الاستخدام المقصود

تتوفّر مجموعة واسعة من التطبيقات والنطاقات المختلفة التي يمكن استخدام النماذج المتعدّدة الوسائط فيها (القادرة على معالجة الصور و/أو اللغة و/أو الصوت). ولا تشمل القائمة التالية جميع الاستخدامات المحتملة، بل تهدف إلى تقديم معلومات سياقية حول حالات الاستخدام المحتملة التي أخذها مصمّمو النماذج في الاعتبار كجزء من عملية تدريب النماذج وتطويرها.

  • صناعة المحتوى والتواصل
    • إنشاء النصوص: ينشئ صيَغ نصوص إبداعية، مثل القصائد والنصوص البرمجية ورموز البرمجة ونصوص التسويق ومسودات الرسائل الإلكترونية.
    • روبوتات الدردشة والذكاء الاصطناعي الحواري: تتيح هذه الأدوات واجهات حوارية لخدمة العملاء أو المساعدين الافتراضيين أو التطبيقات التفاعلية.
    • تلخيص النصوص: تنشئ هذه الأداة ملخّصات موجزة لمجموعة من النصوص أو الأبحاث أو التقارير.
    • استخراج بيانات الصور: يستخرج هذا الخيار البيانات المرئية ويفسّرها ويلخّصها لاستخدامها في المراسلات النصية.
  • البحث والتعليم
    • أبحاث معالجة اللغة الطبيعية (NLP) ونماذج اللغة المرئية الكبيرة (VLM): تشكّل هذه الأبحاث أساسًا يتيح للباحثين تجربة تقنيات VLM وNLP، وتطوير الخوارزميات، والمساهمة في تطوير هذا المجال.
    • أدوات تعلُّم اللغات: تتيح تجارب تفاعلية لتعلم اللغات، وتساعد في تصحيح القواعد النحوية أو توفير تمارين كتابة.
    • استكشاف المعرفة: تساعد هذه الميزة الباحثين في استكشاف كميات كبيرة من النصوص من خلال إنشاء ملخّصات أو الإجابة عن أسئلة حول مواضيع معيّنة.

القيود

  • بيانات التدريب
    • تؤثر جودة بيانات التدريب وتنوّعها بشكل كبير في إمكانات النموذج، إذ يمكن أن تؤدي الانحيازات أو الفجوات في بيانات التدريب إلى فرض قيود على ردود النموذج.
    • يحدّد نطاق مجموعة بيانات التدريب مجالات المواضيع التي يمكن للنموذج التعامل معها بفعالية.
  • السياق ومدى تعقيد المهمة
    • يحقّق النموذج أداءً جيدًا في المهام التي يمكن صياغتها باستخدام طلبات وتعليمات واضحة، ولكن قد يصعب عليه تنفيذ المهام المفتوحة أو المعقّدة للغاية.
    • يمكن أن يتأثر أداء النموذج بكمية السياق المقدَّم (يؤدي السياق الأطول عمومًا إلى نتائج أفضل، وذلك حتى حدّ معيّن).
  • غموض اللغة ودقتها
    • اللغة الطبيعية معقّدة بطبيعتها، وقد يواجه النموذج صعوبة في فهم الفروق الدقيقة أو السخرية أو اللغة المجازية.
  • الدقة الواقعية
    • يُنشئ النموذج الردود استنادًا إلى المعلومات التي تعلّمها من مجموعات بيانات التدريب، ولكنّه ليس قاعدة معلومات، وقد يُنشئ عبارات وقائعية غير صحيحة أو قديمة.
  • Common Sense
    • يعتمد النموذج على الأنماط الإحصائية في اللغة، وقد لا يتمكّن من تطبيق المنطق السليم في بعض الحالات.

الاعتبارات والمخاطر الأخلاقية

عند إنشاء نموذج مفتوح المصدر للرؤية واللغة، أخذنا بعين الاعتبار ما يلي:

  • الانحياز والعدالة
    • يمكن أن تعكس النماذج المرئية اللغوية المدرَّبة على بيانات نصية وصور واقعية واسعة النطاق انحيازات اجتماعية وثقافية مضمّنة في المواد التدريبية. خضعت DiffusionGemma لعملية تدقيق دقيقة ومعالجة مسبقة لبيانات الإدخال وتقييمات بعد التدريب كما هو موضّح في هذه البطاقة للمساعدة في الحدّ من مخاطر هذه التحيزات.
  • المعلومات الخاطئة وإساءة الاستخدام
  • الشفافية والمساءلة
    • تلخّص بطاقة النموذج هذه تفاصيل حول بنية النموذج وإمكاناته وقيوده وعمليات التقييم.
    • يتيح النموذج المفتوح الذي تم تطويره بشكل مسؤول فرصة مشاركة الابتكار من خلال إتاحة تكنولوجيا النماذج المرئية الكبيرة (VLM) للمطوّرين والباحثين في جميع أنحاء المنظومة المتكاملة للذكاء الاصطناعي.

المخاطر المحدّدة وإجراءات التخفيف:

  • إنشاء محتوى ضار: من الضروري توفير آليات وإرشادات لضمان سلامة المحتوى. ننصح المطوّرين بتوخّي الحذر واتّخاذ تدابير وقائية مناسبة لحماية المحتوى استنادًا إلى سياسات منتجاتهم وحالات استخدام تطبيقاتهم.
  • إساءة الاستخدام لأغراض ضارة: يمكن أن تساعد القيود الفنية وتثقيف المطوّرين والمستخدمين النهائيين في الحد من التطبيقات الضارة لنماذج اللغات الكبيرة. يتم توفير مراجع تعليمية وآليات إبلاغ للمستخدمين للإشارة إلى حالات إساءة الاستخدام.
  • انتهاكات الخصوصية: تم تدريب النماذج على بيانات تمت فلترتها لإزالة بعض المعلومات الشخصية وغيرها من البيانات الحسّاسة، وننصح المطوّرين بالالتزام بلوائح الخصوصية باستخدام تقنيات الحفاظ على الخصوصية.
  • إدامة التحيزات: ننصحك بإجراء رصد مستمر (باستخدام مقاييس التقييم والمراجعة البشرية) واستكشاف تقنيات إزالة التحيز أثناء تدريب النموذج وضبطه الدقيق وحالات الاستخدام الأخرى.

المزايا

عند طرحه، كان هذا النموذج مفتوح المصدر يقدّم أداءً عاليًا بزمن استجابة منخفض، ويوفّر خيارًا جذابًا للمطوّرين والمهتمين بالبحث في نماذج اللغة المستندة إلى الانتشار. تم تصميم النموذج من البداية لتطوير الذكاء الاصطناعي المسؤول مقارنةً بالنماذج ذات الحجم المماثل.