بطاقة نموذج ShieldGemma

صفحة النموذج: ShieldGemma

المصادر والمستندات الفنية:

• مجموعة أدوات الذكاء الاصطناعي التوليدي المسؤول
• ShieldGemma على Kaggle
• ShieldGemma على Hugging Face Hub

بنود الاستخدام: البنود

المؤلفون: Google

معلومات حول الطراز

ShieldGemma 2 هو نموذج تم تدريبه على نقطة تفتيش تكنولوجيا المعلومات 4B في Gemma 3 لتقييم أمان الصور على مستوى الفئات الرئيسية التي تتلقّى الصور وتُخرج تصنيفات الأمان وفقًا للسياسة.

الوصف

‫ShieldGemma 2، الذي تم إنشاؤه استنادًا إلى Gemma 3، هو نموذج يتضمّن 4 مليارات مَعلمة يتحقق من أمان كلّ من الصور الاصطناعية والطبيعية مقارنةً بالفئات الرئيسية لمساعدتك في إنشاء مجموعات بيانات ونماذج فعّالة. ومن خلال هذه الإضافة إلى عائلة نماذج Gemma، يمكن للباحثين والمطوّرين الآن الحدّ من خطر المحتوى الضار الذي يؤثر في تطبيقاتهم المستندة إلى الذكاء الاصطناعي التوليدي على مستوى أنواع الضرر الرئيسية.

ننصحك باستخدام ShieldGemma 2 لفلترة الإدخال في نماذج اللغة المرئية، أو لفلترة المخرجات في أنظمة إنشاء الصور. لتدريب نموذج فعّال لأمان الصور، نظمنا مجموعات بيانات تدريبية من الصور الطبيعية والاصطناعية وضبطنا تعليمات Gemma 3 لعرض أداء قوي. لقد قارنا بين ملفّات أمان التطبيقات ومقاييس الأداء المختلفة، ونحن بصدد إصدار تقرير فني يضمّ مقاييس أداء تابعة لجهات خارجية.

المدخلات والمخرجات

• الإدخال: الصورة وتعليمات الطلب مع تعريف السياسة
• الإخراج: احتمال ظهور العنصرَين "نعم" أو "لا". تشير النتيجة الأعلى للرمز المميّز "نعم" إلى أنّ النموذج واثق من أنّ المحتوى يخالف السياسة المضمّنة. وينطبق العكس على الرمز المميّز "لا". يتم توفير كلا النتيجتين لتفعيل مقاييس التصنيف ومعايرة النموذج.

إرشادات الاستخدام في الطلبات

في ما يلي تعليمات طلب المراجعة [Prompt Instruction]:

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

حالة الاستخدام: تصنيف الصور

معلومات الكتاب

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

بيانات الطراز

البيانات المستخدَمة لتدريب النموذج وطريقة معالجتها

مجموعة بيانات التدريب

تتألّف مجموعة بيانات التدريب من الصور الطبيعية والصور الاصطناعية. بالنسبة إلى الصور الطبيعية، نأخذ عيّنة من مجموعة فرعية من الصور من مجموعة بيانات WebLI (Web Language and Image) التي تكون ذات صلة بمهام السلامة. بالنسبة إلى الصور التركيبية، نستخدم مسارًا داخليًا لإنشاء البيانات من أجل إنشاء طلبات و صور مقابلة بشكل مُدار توازن بين تنوع الصور وشدتها. في هذه الدراسة، اقتصرت أنواع المحتوى الضار على المحتوى الخطير والمحتوى الجنسي الفاضح والمحتوى الذي يتضمن عنفًا، وذلك باللغة الإنجليزية فقط. تم تنظيم مواضيع فرعية ومواضيع معارضة إضافية باستخدام تصنيف يتوافق مع السياسات المعنية، ومجموعة من الخصائص الديمغرافية والسياق والعوامل الإقليمية.

معالجة البيانات الأولية

في ما يلي طرق تنظيف البيانات والفلترة الرئيسية التي تم تطبيقها على data التدريبية: فلترة مواد الاعتداء الجنسي على الأطفال: تم تطبيق فلترة مواد الاعتداء الجنسي على الأطفال في عملية إعداد البيانات لضمان استبعاد المحتوى غير القانوني.

معلومات التنفيذ

معدات

تم تدريب ShieldGemma 2 باستخدام أحدث جيل من أجهزة وحدة معالجة النصوص (TPU) (TPUv5e)، وللحصول على مزيد من التفاصيل، يُرجى الرجوع إلى بطاقة نموذج Gemma 3.

البرامج

تم التدريب باستخدام JAX ومسارات تعلُّم الآلة. لمزيد من التفاصيل، يُرجى الرجوع إلى بطاقة طراز Gemma 3.

التقييم

نتائج قياس الأداء

تم تقييم ShieldGemma 2 4B مقارنةً بمجموعات البيانات الداخلية والخارجية. يتم إنشاء مجموعة البيانات الداخلية بشكل اصطناعي من خلال مسار تنسيق بيانات الصور الداخلي. تتضمّن هذه العملية خطوات رئيسية، مثل تحديد المشكلة، وإنشاء تصنيف السلامة، وإنشاء طلبات بحث عن الصور، وإنشاء الصور، وتحليل السمات، والتحقّق من جودة التصنيفات، وغير ذلك. لدينا حوالي 500 مثال لكل سياسة من سياسات الضرر. وبلغت النسبة المئوية للنتائج الإيجابية 39% و67% و32% للمحتوى الجنسي والمحتوى الخطير والعنف على التوالي. سننشر أيضًا ملفًا فنيًا يتضمّن تقييمات مقارنةً بمجموعات بيانات خارجية.

نتائج تقييم الأداء الداخلي

الأخلاق والسلامة

منهج التقييم

على الرغم من أنّ نماذج ShieldGemma هي نماذج إبداعية، إلا أنّها مصمّمة ليتم تشغيلها في وضع التقييم لتوقع احتمال أن يكون الرمز المميّز التالي Yes أو No. لذلك، ركّز تقييم الأمان بشكل أساسي على عرض تقييمات أمان فعالة للصور.

نتائج التقييم

تم تقييم هذه النماذج وفقًا لمراعاة الأخلاق والسلامة والعدالة، وتمتثل للإرشادات الداخلية. عند المقارنة بمقاييس الأداء، تم تعديل مجموعات بيانات التقييم مراراً وتكراراً وموازنتها مع التصنيفات المتنوعة. تم أيضًا تصنيف علامات أمان الصور من قِبل أشخاص وفحصها بحثًا عن حالات الاستخدام التي لم يتمكّن النموذج من رصدها، ما سمح لنا بالتحسين على جولات التقييم.

الاستخدام والقيود

لهذه النماذج قيود معيّنة يجب أن يكون المستخدمون على دراية بها.

الغرض من الاستخدام

يُقصد استخدام ShieldGemma 2 كمشرف محتوى أمان، سواءً لمعالجة مدخلات المستخدمين أو نتائج النماذج أو كليهما. هذه النماذج هي جزء من مجموعة أدوات الذكاء الاصطناعي التوليدي المسؤول، وهي مجموعة من الاقتراحات والأدوات ومجموعات البيانات والنماذج التي تهدف إلى تحسين أمان تطبيقات الذكاء الاصطناعي كجزء من منظومة Gemma المتكاملة.

القيود

تنطبق جميع القيود المعتادة على النماذج اللغوية الكبيرة. يُرجى الاطّلاع على بطاقة نموذج Gemma 3 للحصول على مزيد من التفاصيل. بالإضافة إلى ذلك، تتوفّر مقاييس محدودة يمكن استخدامها لتقييم الإشراف على المحتوى، وبالتالي، قد لا تكون بيانات التدريب والتقييم تمثيلية لسيناريوهات مماثلة في الواقع.

يراعي ShieldGemma 2 أيضًا بشكل كبير الوصف المحدد الذي يقدّمه المستخدم لمبادئ السلامة، وقد يُظهر أداءً غير متوقّع في ظل ظروف تتطلّب فهمًا جيدًا للغموض اللغوي والتفاصيل الدقيقة.

كما هو الحال مع النماذج الأخرى التي تشكّل جزءًا من منظومة Gemma المتكاملة، يخضع ShieldGemma لسياسات الاستخدام المحظور المتّبعة في Google.

الاعتبارات الأخلاقية والمخاطر

يثير تطوير النماذج اللغوية الكبيرة (LLM) العديد من المخاوف الأخلاقية. لقد أخذنا في الاعتبار بعناية جوانب متعدّدة في تطوير هذه التصاميم.

يُرجى الرجوع إلى بطاقة طراز Gemma 3 للحصول على مزيد من التفاصيل.

المزايا

في وقت الإصدار، توفّر مجموعة النماذج هذه عمليات تنفيذ مفتوحة للنماذج اللغوية الكبيرة ذات الأداء العالي والمصمّمة من الألف إلى الياء لتطوير الذكاء الاصطناعي المسؤول مقارنةً بالنماذج ذات الحجم المماثل.

باستخدام مقاييس تقييم الأداء الموضّحة في هذا المستند، تبيّن أنّ هذه النماذج تحقّق أداءً أفضل من النماذج المفتوحة الأخرى ذات الحجم المماثل.