بطاقة نموذج Gemma 2

صفحة طراز السيارة: Gemma

المراجع والمستندات الفنية:

• مجموعة أدوات الذكاء الاصطناعي التوليدي المسؤول
• Gemma على Kaggle
• Gemma على Vertex Model Garden

بنود الاستخدام: البنود

المؤلفون: Google

معلومات حول الطراز

وصف موجز وتعريف مختصر للمدخلات والمخرجات

الوصف

‫Gemma هي مجموعة من أحدث النماذج المتطوّرة والخفيفة المتاحة للجميع من Google، والتي تم إنشاؤها بناءً على الأبحاث والتكنولوجيا نفسها المستخدَمة في إنشاء نماذج Gemini. وهي نماذج لغوية كبيرة لتحويل النصوص إلى نصوص، وهي متاحة باللغة الإنجليزية، وتكون أوزانها مفتوحة لكل من الصيغة المدربة مسبقًا والصيغة المُعدَّة وفقًا للتعليمات. نماذج Gemma مناسبة تمامًا لمجموعة متنوعة من مهام إنشاء النصوص، بما في ذلك الإجابة عن الأسئلة والتلخيص والاستدلال. ويسمح حجمها الصغير نسبيًا بنشرها في البيئات التي تتضمّن موارد محدودة، مثل جهاز كمبيوتر محمول أو كمبيوتر مكتبي أو البنية الأساسية الخاصة بك في السحابة الإلكترونية، ما يسهّل على الجميع استخدام نماذج الذكاء الاصطناعي المتطوّرة ويساعد في تعزيز الابتكار.

المدخلات والمخرجات

• الإدخال: سلسلة نصية، مثل سؤال أو طلب أو مستند ليتم تلخيصه
• الإخراج: نص تم إنشاؤه باللغة الإنجليزية استجابةً للنص الذي أدخلته، مثل إجابة عن سؤال أو ملخّص لمستند

معلومات الكتاب

@article{gemma_2024,
    title={Gemma},
    url={https://www.kaggle.com/m/3301},
    DOI={10.34740/KAGGLE/M/3301},
    publisher={Kaggle},
    author={Gemma Team},
    year={2024}
}

بيانات الطراز

البيانات المستخدَمة لتدريب النموذج وكيفية معالجتها

مجموعة بيانات التدريب

تم تدريب هذه النماذج على مجموعة بيانات من البيانات النصية التي تتضمّن مجموعة كبيرة من المصادر. تم تدريب النموذج الذي يتضمّن 27 مليار رمز على 13 تريليون رمز، وتم تدريب النموذج الذي يتضمّن 9 مليار رمز على 8 تريليون رمز، وتم تدريب النموذج الذي يتضمّن 2 مليار رمز على تريليوني رمز. في ما يلي المكونات الرئيسية:

• مستندات الويب: تضمن مجموعة متنوعة من نصوص الويب تعريض النموذج لمجموعة واسعة من الأنماط اللغوية والمواضيع والمفردات. محتوى باللغة الإنجليزية بشكل أساسي
• الرموز البرمجية: يساعد عرض النموذج على الرموز البرمجية في تعلُّم البنية والأنماط المتعلّقة بلغات البرمجة، ما يُحسِّن من قدرته على إنشاء رموز برمجية أو فهم الأسئلة المتعلّقة بالرموز البرمجية.
• الرياضيات: يساعد التدريب على النصوص الرياضية النموذج على تعلُّم مناقشة مبررة منطقية وتمثيل رمزي ومعالجة طلبات بحث رياضية.

إنّ الجمع بين مصادر البيانات المتنوعة هذه أمر بالغ الأهمية لتدريب ملف شخصي لغوي قوي يمكنه التعامل مع مجموعة كبيرة من المهام المختلفة وتنسيقات النصوص.

معالجة البيانات الأولية

في ما يلي طرق تنظيف البيانات وفلترها الرئيسية التي يتم تطبيقها على data التدريبية:

• فلترة مواد الاعتداء الجنسي على الأطفال: تم تطبيق فلترة صارمة لمواد الاعتداء الجنسي على الأطفال في مراحل متعددة من عملية إعداد البيانات لضمان استبعاد المحتوى الضار وغير القانوني.
• فلترة البيانات الحسّاسة: كجزء من جعل نماذج Gemma المدربة مسبقًا آمنة وموثوقة، تم استخدام أساليب مبرمَجة لفلترة معلومات شخصية معيّنة وغيرها من البيانات الحسّاسة من مجموعات التدريب.
• طرق إضافية: الفلترة استنادًا إلى جودة المحتوى وأمانه بما يتوافق مع سياساتنا

معلومات التنفيذ

تفاصيل حول العناصر الداخلية للنموذج

أجهزة

تم تدريب Gemma باستخدام أحدث جيل من أجهزة وحدة معالجة النصوص (TPU) (TPUv5p).

يتطلّب تدريب النماذج اللغوية الكبيرة قدرة حوسبية كبيرة. توفّر وحدات TPU، التي تم تصميمها خصيصًا لعمليات المصفوفات الشائعة في تعلُّم الآلة، عدة مزايا في هذا المجال:

• الأداء: تم تصميم وحدات TPU خصيصًا للتعامل مع العمليات الحسابية الهائلة المرتبطة بتدريب النماذج اللغوية الكبيرة. ويمكنها تسريع عملية التدريب بشكل كبير مقارنةً بمعالجات الصعوبة المنخفضة.
• الذاكرة: غالبًا ما تكون وحدات TPU مزوّدة بكميات كبيرة من الذاكرة ذات النطاق الترددي العالي، ما يتيح التعامل مع النماذج الكبيرة وأحجام الدفعات أثناء التدريب. ويمكن أن يؤدي ذلك إلى تحسين جودة النموذج.
• قابلية التوسّع: توفّر مجموعات وحدات معالجة النصوص الفائقة (TPU Pods) (مجموعات كبيرة من وحدات TPU) حلًا قابلاً للتوسّع لمعالجة التعقيد المتزايد للنماذج الأساسية الكبيرة. يمكنك توزيع عملية التدريب على أجهزة TPU متعددة لمعالجة البيانات بشكل أسرع وأكثر كفاءة.
• الكفاءة من حيث التكلفة: في العديد من السيناريوهات، يمكن أن توفّر وحدات TPU حلًا أكثر فعالية من حيث التكلفة لتدريب النماذج الكبيرة مقارنةً بالبنية الأساسية المستندة إلى وحدة المعالجة المركزية، خاصةً عند النظر في الوقت والموارد التي يتم توفيرها بسبب التدريب الأسرع.
• تتوافق هذه المزايا مع التزامات Google بالعمل بشكل مستدام.

البرامج

تم التدريب باستخدام JAX ومسارات تعلُّم الآلة.

تتيح مكتبة JAX للباحثين الاستفادة من أحدث جيل من الأجهزة، بما في ذلك وحدات معالجة النطاق الفائق (TPU)، وذلك لتدريب النماذج الكبيرة بشكل أسرع وأكثر فعالية.

‫ML Pathways هي أحدث جهود Google لبناء أنظمة ذكاء اصطناعي قادرة على التعميم على مستوى مهام متعددة. يناسب ذلك بشكل خاص النماذج الأساسية، بما في ذلك النماذج اللغوية الكبيرة مثل هذه النماذج.

يتم استخدام JAX وML Pathways معًا كما هو موضّح في المقالة حول مجموعة نماذج Gemini: "يسمح نموذج برمجة "المشغّل الفردي" في Jax وPathways لعملية Python واحدة بتنسيق عملية التدريب بأكملها، ما يبسط بشكل كبير سير العمل في التطوير".

التقييم

مقاييس تقييم النموذج ونتائجه

نتائج قياس الأداء

تم تقييم هذه النماذج مقارنةً بمجموعة كبيرة من مجموعات البيانات والمقاييس المختلفة لتغطية جوانب مختلفة من إنشاء النصوص:

الأخلاق والسلامة

المنهج والنتائج المتعلّقة بتقييم الأخلاق والسلامة

منهج التقييم

تشمل طرق التقييم التي نتّبعها تقييمات منظَّمة واختبارات داخلية لفريق الاختراق (Red Team) بشأن سياسات المحتوى ذات الصلة. تم تنفيذ أسلوب "الفريق الأحمر" من قِبل عدد من الفِرق المختلفة، ولكل فريق أهداف ومقاييس تقييم بشرية مختلفة. تم تقييم هذه النماذج وفقًا لعدد من الفئات المختلفة ذات الصلة بالأخلاق والسلامة، بما في ذلك:

• أمان المحتوى النصي إلى النصي: تقييم بشري للطلبات التي تغطي سياسات أمان المحتوى، بما في ذلك الاعتداء الجنسي على الأطفال واستغلالهم والمضايقة والعنف والمحتوى الدموي والكلام الذي يحض على الكراهية
• الأضرار التمثيلية الناتجة عن تحويل النص إلى نص: مقارنة بالأداء في مجموعات بيانات أكاديمية ذات صلة، مثل WinoBias وBBQ Dataset
• الحفظ: تقييم آلي لحفظ بيانات التدريب، بما في ذلك خطر تعريض معلومات تحديد الهوية الشخصية
• الضرر على نطاق واسع: اختبارات "القدرات الخطيرة"، مثل المخاطر الكيميائية والبيولوجية والإشعاعية والنووية (CBRN)

نتائج التقييم

تقع نتائج تقييمات الأخلاق والسلامة ضمن الحدود المقبولة لاستيفاء السياسات الداخلية لفئات مثل سلامة الأطفال وسلامة المحتوى والأضرار الناتجة عن التمثيل والحفظ والأضرار على نطاق واسع. بالإضافة إلى التقييمات الداخلية القوية، يتم عرض نتائج قياسات الأداء المعروفة للسلامة، مثل BBQ وBOLD وWinogender وWinobias وRealToxicity وTruthfulQA.

Gemma 2.0

تقييمات القدرات الخطيرة

منهج التقييم

لقد قيّمنا مجموعة من الإمكانات الخطيرة:

• الأمن السيبراني الهجومي: لتقييم احتمالية إساءة استخدام النموذج في سياقات الأمن السيبراني، استخدَمنا منصّتَي CTF المتاحتَين للجميع، مثل InterCode-CTF وHack the Box، بالإضافة إلى تحديات CTF التي تم تطويرها داخليًا. تقيس هذه التقييمات قدرة النموذج على استغلال الثغرات الأمنية والوصول إلى البيانات بدون إذن في البيئات المحاكية.
• الانتشار الذاتي: قيّمنا قدرة النموذج على الانتشار الذاتي من خلال تصميم مهام تتضمّن الحصول على الموارد وتنفيذ الرمز البرمجي والتفاعل مع الأنظمة البعيدة. تقيس هذه التقييمات قدرة النموذج على التكرار والانتشار بشكل مستقل.
• الإقناع: لتقييم قدرة النموذج على الإقناع والتضليل، أجرينا دراسات حول الإقناع لدى البشر. وتضمنت هذه الدراسات سيناريوهات تقيس قدرة النموذج على بناء علاقات وطيدة والتأثير في المعتقدات وحثّ المشاركين على اتّخاذ إجراءات معيّنة.