بطاقة نموذج DiffusionGemma

Hugging Face | GitHub | مدونة الإطلاق | المستندات
الترخيص: Apache 2.0 | المؤلفون: Google DeepMind

‫DiffusionGemma هو نموذج توليدي من إنشاء Google DeepMind. يستند DiffusionGemma إلى بنية Gemma 4 التي تضم 26 مليار مَعلمة وتستخدم نموذج "مزيج الخبراء" (MoE) مع 4 خبراء نشطين (A4B)، ويُنشئ الرموز المميّزة باستخدام نموذج الانتشار المنفصل. هذا النموذج المفتوح الأوزان هو نموذج متعدّد الوسائط، يعالج المدخلات النصية والصور والفيديوهات لإنشاء نصّ من إنشاء الذكاء الاصطناعي.

يستند DiffusionGemma إلى بنية MoE، وهو مصمَّم لتحسين سرعة إنشاء المحتوى (عدد الرموز المميّزة في الثانية) مع إمكانية نشره في بيئات أجهزة مختلفة. يستند DiffusionGemma إلى التطوّرات في البنية والقدرات التي يقدّمها Gemma 4، ويوفّر عدة ميزات أساسية:

  • Discrete Text Diffusion: ينتقل من الانحدار التلقائي لكل رمز مميّز إلى أخذ عينات من لوحات متعددة باستخدام الانحدار التلقائي لكل مجموعة. ينشئ هذا النموذج النصوص من خلال إزالة التشويش بشكل متكرر من مجموعات الرموز المميّزة (المعروفة باسم "اللوحة") بالتوازي، ما يزيد من سرعة فك الترميز بشكل كبير.
  • معالجة الإدخالات المتعددة الوسائط: يعالج النموذج النصوص والصور (مع إمكانية التعامل مع نسب عرض إلى ارتفاع ودقة مختلفة) والفيديوهات المتداخلة لإنشاء مخرجات نصية.
  • بنية الترميز وفك الترميز: تستخدم برنامج ترميز ذاتي الانحدار لمعالجة سياق الطلب وتخزينه مؤقتًا، بالإضافة إلى برنامج فك ترميز يطبّق آلية الانتباه الثنائي الاتجاه على لوحة إنشاء المحتوى.
  • كفاءة نموذج خليط الخبراء (MoE): يستفيد من تصميم MoE المتناثر (8 خبراء نشطين من إجمالي 128 خبيرًا) لتوفير قدرات استدلال قوية مع الحفاظ على استهلاك منخفض للذاكرة مناسب للتنفيذ على الجهاز.
  • وضع التفكير (الاستدلال): تم تصميم هذا الوضع ليكون قادرًا على الاستدلال بشكل كبير، مع إمكانية ضبط أوضاع التفكير.
  • محسَّن للاستنتاج بحجم دفعة صغير: تم تصميمه خصيصًا لإنشاء المحتوى بزمن انتقال منخفض وسرعة عالية على مسرِّع واحد قادر على ذلك.
  • دعم الطلبات المضمّنة في النظام: كما هو الحال مع Gemma 4، يتيح هذا النموذج تعديل دور system، ما يتيح إجراء محادثات أكثر تنظيمًا وقابلية للتحكّم.

نظرة عامة على النموذج

تم تصميم DiffusionGemma لتقليل المشاكل المتسلسلة التي تواجه النماذج اللغوية السببية العادية. ويستخدم بنية ترميز وفك ترميز تم تحسينها خصيصًا لزيادة سرعة الاستنتاج.

يعمل برنامج الترميز بسعة ملء مسبق، حيث يعالج الطلب الأولي وينشئ ذاكرة التخزين المؤقت للمفتاح والقيمة. بعد ذلك، يستخدم برنامج فك الترميز آلية الانتباه الثنائي الاتجاه لمعالجة مجموعة من الرموز المميّزة المُدخلة (تُعرف باسم "اللوحة")، مع إمكانية الوصول إلى السياق المخزَّن مؤقتًا من خلال آلية الانتباه المتبادل.

أثناء الاستدلال، يستفيد DiffusionGemma من أخذ عينات من لوحات متعددة. بدلاً من إنشاء رمز مميّز واحد في كل مرة، يزيل النموذج الضوضاء بشكل متكرر من مجموعة كاملة من الرموز المميّزة باستخدام أداة أخذ عينات الانتشار. بعد إزالة التشويش من اللوحة بالكامل، تتم معالجتها بواسطة برنامج الترميز وإضافتها إلى ذاكرة التخزين المؤقت KV، وبعد ذلك ينشئ النموذج اللوحة التالية. ويسهّل هذا النهج التراجعي الذاتي إنشاء النصوص بسرعات أعلى.

DiffusionGemma

الموقع DiffusionGemma 26B A4B
إجمالي المَعلمات ‫25.2 مليار
المَعلمات النشطة ‫3.8 مليار
الطبقات 30
Sliding Window ‫1,024 رمز مميّز
طول السياق ما يصل إلى 256 ألف رمز مميّز
طول لوحة العرض 256
حجم المفردات ‫262 ألف
عدد الخبراء ‫8 نشطة / 128 في المجموع و1 مشترَكة
الوسائط المتوافقة نص، صورة
مَعلمات برنامج ترميز الرؤية ‫~550 مليون

نتائج قياس الأداء

تم تقييم هذه النماذج استنادًا إلى مجموعة كبيرة من مجموعات البيانات والمقاييس المختلفة لتغطية جوانب مختلفة من إنشاء النص. نتائج التقييم الموضّحة في الجدول مخصّصة للنماذج التي تم ضبطها وفق التعليمات، مع أداة أخذ العينات الموصى بها لحدود الإنتروبيا (EB) (انظر أفضل الممارسات أدناه).

مقياس الأداء DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77.6% 82.6%
AIME 2026 no tools 69.1% 88.3%
LiveCodeBench v6 69.1% 77.1%
Codeforces ELO 1429 1718
GPQA Diamond 73.2% 82.3%
‫Tau2 (متوسط أكثر من 3) ‫56.2% 68.2%
HLE no tools ‫11.0% 8.7%
HLE with search ‫11.9% 17.2%
BigBench Extra Hard ‫47.6% 64.8%
MMMLU 81.5% 86.3%
النظر
MMMU Pro 54.3% 73.8%
‫OmniDocBench 1.5 (متوسط مسافة التعديل، كلما كانت أقل، كان ذلك أفضل) 0.319 0.149
MATH-Vision 70.5% 82.4%
MedXPertQA MM 49.0% ‫58.1%
السياق الطويل
MRCR v2 8 needle 128k (average) 32.0% ‫44.1%

الإمكانات الأساسية

يتعامل DiffusionGemma مع مجموعة واسعة من المهام في مجالات النصوص والرؤية. تشمل الإمكانات الأساسية ما يلي:

  • إنشاء عالي السرعة: من خلال إزالة التشويش بشكل متوازٍ من 256 رمزًا مميزًا عبر أخذ عينات الانتشار، يتم تحقيق وقت استجابة منخفض من خلال إنشاء 15-20 رمزًا مميزًا لكل تمرير أمامي، ما يتيح سرعات إنشاء لكل مستخدم تتجاوز 1100 رمز مميز في الثانية في إعدادات حجم الدفعة المنخفضة (H100، FP8).
  • احتساب وقت الاستدلال التكيُّفي: تتطلّب الطلبات البسيطة والمهام المنظَّمة مثل الرموز البرمجية خطوات أقل لإزالة التشويش، ما يتيح سرعات ديناميكية لعدد الرموز المميّزة في الثانية استنادًا إلى مدى تعقيد المهمة.
  • Thinking: وضع استدلال مدمج يتيح للنموذج التفكير خطوة بخطوة قبل الإجابة
  • السياق الطويل: قدرات استيعاب تصل إلى 256 ألف رمز مميّز.
  • فهم الصور: رصد العناصر، وتحليل المستندات/ملفات PDF، وفهم الشاشة وواجهة المستخدم، وفهم الرسوم البيانية، والتعرّف البصري على الأحرف (بما في ذلك اللغات المتعددة)، والتعرّف على الكتابة اليدوية، والإشارة. يمكن معالجة الصور بنِسب عرض إلى ارتفاع ودرجات دقة متغيّرة.
  • فهم الفيديو: يحلّل محتوى الفيديو ويصفه من خلال معالجة تسلسلات اللقطات.
  • إدخال متعدد الوسائط متداخل: يمكنك دمج الصور والفيديوهات والنصوص في طلب واحد للاستدلال على السياق بشكل أفضل.
  • استدعاء الدوال: يتيح استخدام الأدوات المنظَّمة بشكلٍ أصلي، ما يسهّل سير العمل المستقل.
  • الترميز والاستدلال: يمكنه إنشاء الرموز البرمجية وإكمالها والاستدلال المنطقي خطوة بخطوة.
  • تعدد اللغات: تتيح هذه الميزة استخدام أكثر من 35 لغة، وهي مدرَّبة مسبقًا على أكثر من 140 لغة.

أفضل الممارسات

للحصول على أفضل أداء، استخدِم الإعدادات وأفضل الممارسات التالية:

1. إعدادات أخذ عينات الانتشار

استخدِم إعدادات العيّنات الموحّدة التالية في جميع حالات الاستخدام:

  • الطريقة: أخذ عينات الانتشار مع إزالة التشويش المحدود بالإنتروبيا والإيقاف التكيفي.
  • إعدادات العيّنات:
    • الحد الأقصى لعدد خطوات إزالة التشويش = 48
    • جدول ضبط درجة الحرارة (لتشكيل اللوجيت): انخفاض خطي من 0.8 إلى 0.4
    • اختيار الرموز المميّزة: في كل خطوة، يختار أداة أخذ العينات الرموز المميّزة ذات الإنتروبيا الأقل بحيث يظل حد المعلومات المتبادلة أقل من حد الإنتروبيا = 0.1
    • إعادة إضافة التشويش إلى الرموز المميّزة: يعيد أداة أخذ العينات إضافة التشويش بالكامل إلى الرموز المميّزة غير المحدّدة
  • الإيقاف التكيُّفي: يتم إنهاء عملية أخذ العينات مبكرًا في حال استيفاء الشرطَين التاليَين في الوقت نفسه:
    • التوقعات الموثوقة: متوسط قصور النموذج على اللوحة أقل من حد القصور = 0.005
    • التوقّعات الثابتة: تظلّ توقّعات الرموز المميّزة ذات الاحتمالية الأعلى متطابقة في خطوتَين متتاليتَين لإزالة التشويش

2. إعدادات "وضع التفكير"

على غرار نماذج Gemma 4، نستخدم الأدوار العادية system وassistant وuser. لإدارة عملية التفكير بشكل صحيح، استخدِم رموز التحكّم التالية:

  • تفعيل ميزة "التفكير": يتم تفعيل ميزة "التفكير" من خلال تضمين الرمز المميّز <|think|> في بداية طلب النظام. لإيقاف ميزة التفكير، يجب إزالة الرمز المميّز (يُرجى العِلم أنّه قد يستمر ظهور قناة تفكير فارغة).
  • الإنشاء العادي: عندما تكون ميزة "التفكير" مفعَّلة، سيُخرج النموذج استدلاله الداخلي متبوعًا بالإجابة النهائية باستخدام هذه البنية: <|channel>thought\n[الاستدلال الداخلي]<channel|>.
  • سلوك التفكير غير المفعَّل: إذا تم إيقاف التفكير، سيواصل النموذج إنشاء العلامات ولكن مع كتلة تفكير فارغة: <|channel>thought\n<channel|>[الإجابة النهائية].

يُرجى العِلم أنّ العديد من المكتبات، مثل transformers، تتعامل مع تعقيدات نموذج المحادثة نيابةً عنك.

3- المحادثات المتعدّدة الأدوار

  • عدم تضمين محتوى التفكير في السجلّ: في المحادثات المتعدّدة الجولات، يجب أن تتضمّن مخرجات النموذج السابقة الردّ النهائي فقط. يجب عدم إضافة الأفكار من ردود النموذج السابقة قبل بدء رد المستخدم التالي.

4. ترتيب نمط البيانات

  • للحصول على أفضل أداء مع الإدخالات المتعددة الوسائط، ضع محتوى الصورة قبل النص في طلبك.

5- دقة الصورة المتغيّرة

بالإضافة إلى نِسب العرض إلى الارتفاع المتغيّرة، يتيح DiffusionGemma استخدام دقة صورة متغيّرة من خلال ميزانية رموز مرئية قابلة للضبط، والتي تتحكّم في عدد الرموز المستخدَمة لتمثيل الصورة. فكلما زاد عدد الرموز المميزة، زادت التفاصيل المرئية التي يتم الاحتفاظ بها، ولكن على حساب زيادة الموارد الحاسوبية المطلوبة. أما إذا كان عدد الرموز المميزة أقل، فيتم الاستدلال بشكل أسرع في المهام التي لا تتطلب فهمًا دقيقًا.

  • الميزانيات المتاحة للرموز المميّزة هي: 70 و140 و280 و560 و1120.
    • استخدِم ميزانيات أقل لمهام التصنيف أو الشرح أو فهم الفيديو، حيث يكون الاستنتاج الأسرع ومعالجة العديد من اللقطات أكثر أهمية من التفاصيل الدقيقة.
    • استخدِم ميزانيات أعلى لمهام مثل التعرّف البصري على الأحرف أو تحليل المستندات أو قراءة النصوص الصغيرة.

6. مدة الفيديو

تتيح جميع النماذج إدخال الصور ويمكنها معالجة الفيديوهات كإطارات. يمكن أن تصل مدة الفيديو إلى 60 ثانية كحد أقصى، على افتراض أنّه تتم معالجة الصور بمعدّل لقطة واحدة في الثانية.

بيانات النماذج

البيانات المستخدَمة لتدريب النموذج وكيفية معالجتها

مجموعة بيانات التدريب

تتكوّن مجموعة بيانات التدريب المُسبق من مجموعة كبيرة ومتنوعة من البيانات تشمل مجموعة واسعة من المجالات والأنماط، بما في ذلك مستندات الويب والرموز البرمجية والصور والصوت، مع تاريخ نهائي في يناير 2025. فيما يلي المكونات الرئيسية:

  • مستندات الويب: تضمن المجموعة المتنوعة من نصوص الويب تعرُّف النموذج على مجموعة واسعة من الأساليب اللغوية والمواضيع والمفردات. وتتضمّن مجموعة بيانات التدريب محتوًى بأكثر من 140 لغة.
  • الرموز البرمجية: يساعد عرض الرموز البرمجية على النموذج في تعلُّم البنية النحوية وأنماط لغات البرمجة، ما يحسّن قدرته على إنشاء الرموز البرمجية وفهم الأسئلة المتعلقة بها.
  • الرياضيات: يساعد التدريب على النصوص الرياضية النموذج في تعلُّم الاستدلال المنطقي والتمثيل الرمزي والتعامل مع الاستفسارات الرياضية.
  • الصور: تتيح مجموعة واسعة من الصور للنموذج إجراء تحليل الصور ومهام استخراج البيانات المرئية.

يُعدّ الجمع بين مصادر البيانات المتنوعة هذه أمرًا بالغ الأهمية لتدريب نموذج متعدد الوسائط قوي يمكنه التعامل مع مجموعة واسعة من المهام وتنسيقات البيانات المختلفة.

المعالجة المُسبقة للبيانات

في ما يلي الطرق الرئيسية لتنظيف البيانات وفلترتها والمطبَّقة على بيانات التدريب:

  • فلترة مواد الاعتداء الجنسي على الأطفال: تم تطبيق فلترة صارمة لمواد الاعتداء الجنسي على الأطفال في مراحل متعددة من عملية إعداد البيانات لضمان استبعاد المحتوى الضار وغير القانوني.
  • فلترة البيانات الحسّاسة: في إطار جعل نماذج Gemma المدرَّبة مسبقًا آمنة وموثوقة، تم استخدام أساليب مبرمَجة لفلترة بعض المعلومات الشخصية والبيانات الحسّاسة الأخرى من مجموعات التدريب.
  • طرق إضافية: الفلترة استنادًا إلى جودة المحتوى وأمانه بما يتوافق مع سياساتنا.

الأخلاقيات والأمان

مع تزايد أهمية النماذج المفتوحة المصدر في البنية الأساسية للمؤسسات، أصبح المصدر والأمان من الأمور البالغة الأهمية. يخضع DiffusionGemma، الذي طوّره فريق Google DeepMind، لتقييمات الأمان الصارمة نفسها التي تخضع لها نماذج Gemini الخاصة بنا.

طريقة التقييم

تم تطوير DiffusionGemma بالتعاون مع فِرق الأمان الداخلية وفِرق الذكاء الاصطناعي المسؤول. تم إجراء مجموعة من التقييمات الآلية والتقييمات التي أجراها فريقنا للمساعدة في تحسين أمان النموذج. تتوافق هذه التقييمات مع مبادئ الذكاء الاصطناعي في Google، بالإضافة إلى سياسات الأمان التي تهدف إلى منع نماذج الذكاء الاصطناعي التوليدي من إنشاء محتوى ضار، بما في ذلك:

  • المحتوى المتعلّق بمواد الاعتداء الجنسي على الأطفال واستغلالهم
  • المحتوى الخطير (مثل الترويج للانتحار أو تقديم تعليمات حول أنشطة قد تؤدي إلى حدوث أذى فعلي)
  • المحتوى الجنسي الفاضح
  • كلام يحض على الكراهية (مثل تجريد أفراد المجموعات المحمية من الإنسانية)
  • المضايقة (مثل التشجيع على العنف ضد الأشخاص)

نتائج التقييم

في جميع مجالات اختبار الأمان، لاحظنا تحسينات كبيرة في جميع فئات أمان المحتوى مقارنةً بالأجيال السابقة من نماذج Gemma. بشكل عام، يتفوّق DiffusionGemma، مثل نماذج Gemma 4، بشكل كبير على نماذج Gemma 3 و3n في تحسين الأمان، مع الحفاظ على انخفاض معدلات الرفض غير المبرر. تم إجراء جميع الاختبارات عمدًا بدون فلاتر أمان لتقييم قدرات النموذج الأولية وسلوكياته الأساسية. في كل من طلبات وردود نصية وتحويل الصورة إلى نص، وعبر جميع أحجام النماذج، حقّق النموذج الحد الأدنى من انتهاكات السياسات، وأظهر تحسينات كبيرة مقارنةً بنماذج Gemma السابقة.

الاستخدام والقيود

هذه النماذج لها قيود معيّنة يجب أن يكون المستخدمون على دراية بها.

الاستخدام المقصود

تتوفّر مجموعة واسعة من التطبيقات للنماذج المتعدّدة الوسائط (القادرة على معالجة الرؤية و/أو اللغة و/أو الصوت) في مختلف المجالات والقطاعات. القائمة التالية للاستخدامات المحتملة ليست شاملة. الغرض من هذه القائمة هو تقديم معلومات سياقية حول حالات الاستخدام المحتملة التي أخذها منشئو النموذج في الاعتبار كجزء من تدريب النموذج وتطويره.

  • صناعة المحتوى والتواصل
    • إنشاء النصوص: ينشئ Gemini صيغًا نصية إبداعية، مثل القصائد والنصوص البرمجية والرموز البرمجية والنصوص التسويقية ومسودات الرسائل الإلكترونية.
    • روبوتات الدردشة والذكاء الاصطناعي الحواري: تتيح هذه النماذج واجهات حوارية لخدمة العملاء أو المساعدين الافتراضيين أو التطبيقات التفاعلية.
    • تلخيص النصوص: تنشئ هذه الميزة ملخّصات موجزة لمكنَز لغوي أو أوراق بحثية أو تقارير.
    • استخراج البيانات من الصور: تستخرج هذه الميزة البيانات المرئية وتفسّرها وتلخّصها لإنشاء مراسلات نصية.
  • الأبحاث والتعليم
    • أبحاث معالجة اللغة الطبيعية (NLP) ونماذج VLM: تشكّل هذه المجموعة أساسًا للباحثين لتجربة تقنيات VLM وNLP وتطوير الخوارزميات والمساهمة في تطوير هذا المجال.
    • أدوات تعلُّم اللغات: تتيح تجارب تعلُّم اللغات التفاعلية، وتساعد في تصحيح القواعد النحوية أو توفّر تمارين على الكتابة.
    • استكشاف المعرفة: يساعد الباحثين في استكشاف مجموعات كبيرة من النصوص من خلال إنشاء ملخصات أو الإجابة عن أسئلة حول مواضيع معيّنة.

القيود

  • بيانات التدريب
    • تؤثر جودة بيانات التدريب وتنوعها بشكل كبير في قدرات النموذج. يمكن أن تؤدي الانحيازات أو الثغرات في بيانات التدريب إلى قيود في ردود النموذج.
    • يحدّد نطاق مجموعة بيانات التدريب مجالات البحث التي يمكن للنموذج التعامل معها بفعالية.
  • السياق ومدى تعقيد المهمة
    • يؤدي النموذج أداءً جيدًا في المهام التي يمكن صياغتها باستخدام طلبات وتعليمات واضحة. وقد يواجه صعوبة في تنفيذ المهام المفتوحة أو المعقّدة للغاية.
    • يمكن أن يتأثر أداء النموذج بكمية السياق المقدَّم (يؤدي السياق الأطول عمومًا إلى نتائج أفضل، إلى حدٍّ معين).
  • غموض اللغة والفروق الدقيقة
    • اللغة الطبيعية معقّدة بطبيعتها. قد يواجه النموذج صعوبة في فهم الفروق الدقيقة أو السخرية أو اللغة المجازية.
  • الدقة الواقعية
    • ينشئ النموذج الردود استنادًا إلى المعلومات التي تعلّمها من مجموعات البيانات التدريبية، ولكنّها ليست قواعد معرفية. وقد ينشئ عبارات واقعية غير صحيحة أو قديمة.
  • Common Sense
    • يعتمد النموذج على الأنماط الإحصائية في اللغة. قد يفتقر إلى القدرة على تطبيق التفكير المنطقي في مواقف معينة.

الاعتبارات والمخاطر الأخلاقية

عند إنشاء نموذج لغوي بصري مفتوح المصدر، أخذنا في الاعتبار ما يلي:

  • الانحياز والعدالة
    • يمكن أن تعكس نماذج الرؤية واللغة (VLM) المدرَّبة على بيانات نصية وصور واقعية واسعة النطاق الانحيازات الاجتماعية والثقافية المضمّنة في مواد التدريب. خضع نموذج DiffusionGemma لعمليات تدقيق دقيقة ومعالجة مسبقة لبيانات الإدخال وتقييمات ما بعد التدريب كما هو موضّح في هذه البطاقة للمساعدة في الحدّ من مخاطر هذه الانحيازات.
  • المعلومات الخاطئة وإساءة الاستخدام
  • الشفافية والمساءلة
    • تلخّص بطاقة النموذج هذه تفاصيل حول بنية النموذج وإمكاناته والقيود المفروضة عليه وعمليات التقييم.
    • يوفّر النموذج المفتوح الذي تم تطويره بمسؤولية فرصة لمشاركة الابتكار من خلال إتاحة تكنولوجيا VLM للمطوّرين والباحثين في جميع أنحاء منظومة الذكاء الاصطناعي المتكاملة.

المخاطر المحدّدة وإجراءات الحدّ منها:

  • إنشاء محتوى ضارّ: من الضروري وضع آليات وإرشادات لضمان أمان المحتوى. ننصح المطوّرين بتوخي الحذر وتنفيذ تدابير وقائية مناسبة لحماية المحتوى استنادًا إلى سياسات المنتجات وحالات استخدام التطبيقات المحدّدة.
  • إساءة الاستخدام لأغراض ضارة: يمكن أن تساعد القيود الفنية وتثقيف المطوّرين والمستخدمين النهائيين في الحدّ من التطبيقات الضارة لنماذج الرؤية واللغة. توفير مراجع تعليمية وآليات إبلاغ تتيح للمستخدمين الإبلاغ عن إساءة الاستخدام
  • انتهاكات الخصوصية: تم تدريب النماذج على بيانات تمت فلترتها لإزالة بعض المعلومات الشخصية والبيانات الحسّاسة الأخرى. ونشجّع المطوّرين على الالتزام بلوائح الخصوصية من خلال استخدام تقنيات الحفاظ على الخصوصية.
  • استمرار التحيزات: ننصحك بإجراء مراقبة مستمرة (باستخدام مقاييس التقييم والمراجعة البشرية) واستكشاف تقنيات إزالة التحيز أثناء تدريب النموذج والضبط الدقيق وحالات الاستخدام الأخرى.

المزايا

في وقت إصداره، كان هذا النموذج نموذجًا مفتوحًا للرؤية واللغة يتسم بزمن انتقال منخفض وأداء عالٍ، ويوفّر خيارًا جذابًا للمطوّرين والمهتمين بالبحث في نماذج لغة الانتشار. تم تصميم هذا النموذج من الصفر ليكون نموذج ذكاء اصطناعي مسؤولاً مقارنةً بالنماذج ذات الحجم المماثل.