کارت مدل ShieldGemma

صفحه مدل : ShieldGemma

منابع و مستندات فنی :

• جعبه ابزار هوش مصنوعی مولد مسئول
• ShieldGemma در Kaggle
• ShieldGemma در Hugging Face Hub

شرایط استفاده : شرایط

نویسندگان : گوگل

اطلاعات مدل

ShieldGemma 2 مدلی است که در ایست بازرسی 4B IT Gemma 3 برای طبقه‌بندی ایمنی تصویر در دسته‌های کلیدی آموزش دیده است که در هر خط‌مشی، تصاویر را می‌گیرد و برچسب‌های ایمنی را تولید می‌کند.

توضیحات

ShieldGemma 2، ساخته شده بر روی Gemma 3، یک مدل پارامتری 4 میلیاردی (4B) است که ایمنی تصاویر مصنوعی و طبیعی را در برابر دسته‌های کلیدی بررسی می‌کند تا به شما در ساخت مجموعه داده‌ها و مدل‌های قوی کمک کند. با این اضافه شدن به خانواده مدل‌های Gemma، محققان و توسعه‌دهندگان اکنون می‌توانند خطر محتوای مضر را که بر برنامه‌های کاربردی مبتنی بر هوش مصنوعی تولیدی آنها در انواع آسیب‌های کلیدی تأثیر می‌گذارد، به حداقل برسانند.

توصیه می کنیم از ShieldGemma 2 به عنوان فیلتر ورودی مدل های زبان بینایی یا به عنوان فیلتر خروجی سیستم های تولید تصویر استفاده کنید. برای آموزش یک مدل ایمنی تصویر قوی، مجموعه داده‌های آموزشی از تصاویر طبیعی و مصنوعی و Gemma 3 را بر اساس دستورالعمل تنظیم کردیم تا عملکرد قوی را نشان دهیم. ما خط‌مشی‌های ایمنی را با معیارهای مختلف مقایسه کردیم و در حال انتشار یک گزارش فنی هستیم که معیارهای شخص ثالث را در خود جای داده است.

ورودی ها و خروجی ها

• ورودی: تصویر و دستورالعمل فوری با تعریف خط مشی.
• خروجی: احتمال وجود نشانه های «بله» یا «خیر». امتیاز بالاتر برای نشانه "بله" نشان می دهد که مدل مطمئن است که محتوا خط مشی ارائه شده را نقض می کند. معکوس برای نشانه "نه" صادق است. هر دو امتیاز برای فعال کردن معیارهای طبقه بندی و کالیبراسیون ارائه شده است.

رهنمودهایی برای استفاده در دستورات

در اینجا دستورالعمل سریع ما [Prompt Instruction] است:

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

مورد استفاده: طبقه بندی تصویر

نقل قول

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

داده های مدل

داده های مورد استفاده برای آموزش مدل و نحوه پردازش داده ها.

مجموعه داده های آموزشی

مجموعه داده آموزشی ما هم از تصاویر طبیعی و هم از تصاویر مصنوعی تشکیل شده است. برای تصاویر طبیعی، زیرمجموعه‌ای از تصاویر را از مجموعه داده WebLI (زبان و تصویر وب) که به وظایف ایمنی مرتبط هستند، نمونه‌برداری می‌کنیم. برای تصاویر مصنوعی، ما از یک خط لوله تولید داده داخلی استفاده می‌کنیم تا تولید کنترل‌شده اعلان‌ها و تصاویر مربوطه را فعال کنیم که تنوع و شدت تصاویر را متعادل می‌کند. برای این مطالعه، انواع آسیب‌ها به محتوای خطرناک، صریح جنسی، و خشونت‌آمیز و فقط انگلیسی محدود شد. موضوعات متخاصم و فرعی اضافی با استفاده از طبقه‌بندی که با سیاست‌های مربوطه مطابقت دارد و طیف وسیعی از جنبه‌های جمعیتی، زمینه‌ای و منطقه‌ای ساختار یافته‌اند.

پیش پردازش داده ها

در اینجا روش‌های کلیدی تمیز کردن و فیلتر کردن داده‌های اعمال شده برای داده‌های آموزشی آمده است: فیلتر CSAM: فیلتر CSAM (مواد آزار جنسی کودکان) در فرآیند آماده‌سازی داده‌ها برای اطمینان از حذف محتوای غیرقانونی اعمال شد.

اطلاعات پیاده سازی

سخت افزار

ShieldGemma 2 با استفاده از آخرین نسل سخت افزار Tensor Processing Unit (TPU) (TPUv5e) آموزش داده شده است، برای جزئیات بیشتر به کارت مدل Gemma 3 مراجعه کنید.

نرم افزار

آموزش با استفاده از مسیرهای JAX و ML انجام شد. برای جزئیات بیشتر به کارت مدل Gemma 3 مراجعه کنید.

ارزیابی

نتایج محک

ShieldGemma 2 4B در برابر مجموعه داده های داخلی و خارجی مورد ارزیابی قرار گرفت. مجموعه داده داخلی ما به طور مصنوعی از طریق خط لوله مدیریت داده های تصویر داخلی ما تولید می شود. این خط لوله شامل مراحل کلیدی مانند تعریف مشکل، تولید طبقه بندی ایمنی، تولید پرس و جو تصویر، تولید تصویر، تجزیه و تحلیل ویژگی، اعتبار سنجی کیفیت برچسب و موارد دیگر است. ما تقریباً 500 مثال برای هر سیاست آسیب داریم. نسبت های مثبت برای محتوای جنسی، محتوای خطرناک و خشونت به ترتیب 39، 67، 32 درصد است. ما همچنین یک گزارش فنی را منتشر خواهیم کرد که شامل ارزیابی‌هایی از مجموعه داده‌های خارجی است.

نتایج ارزیابی معیار داخلی

اخلاق و ایمنی

رویکرد ارزشیابی

اگرچه مدل‌های ShieldGemma مدل‌های تولیدی هستند، اما برای پیش‌بینی احتمال Yes یا No توکن بعدی در حالت امتیازدهی طراحی شده‌اند. بنابراین، ارزیابی ایمنی در درجه اول بر روی خروجی برچسب های ایمنی تصویر موثر متمرکز شد.

نتایج ارزیابی

این مدل‌ها از نظر ملاحظات اخلاقی، ایمنی و انصاف ارزیابی شدند و دستورالعمل‌های داخلی را رعایت کردند. در مقایسه با معیارها، مجموعه داده‌های ارزیابی بر روی طبقه‌بندی‌های متنوع تکرار و متعادل شدند. برچسب‌های ایمنی تصویر نیز توسط انسان برچسب‌گذاری می‌شدند و برای موارد استفاده که از مدل فرار می‌کردند، بررسی می‌شدند، که ما را قادر می‌سازد در دورهای ارزیابی بهبود پیدا کنیم.

استفاده و محدودیت ها

این مدل ها محدودیت های خاصی دارند که کاربران باید از آن ها آگاه باشند.

استفاده در نظر گرفته شده

ShieldGemma 2 در نظر گرفته شده است که به عنوان یک ناظر محتوای ایمنی، چه برای ورودی های کاربر انسانی، چه خروجی های مدل، یا هر دو مورد استفاده قرار گیرد. این مدل‌ها بخشی از جعبه ابزار هوش مصنوعی مولد مسئولیت‌پذیر هستند که مجموعه‌ای از توصیه‌ها، ابزارها، مجموعه‌های داده و مدل‌هایی است که با هدف بهبود ایمنی برنامه‌های هوش مصنوعی به‌عنوان بخشی از اکوسیستم Gemma است.

محدودیت ها

تمام محدودیت های معمول برای مدل های زبان بزرگ اعمال می شود، برای جزئیات بیشتر به کارت مدل Gemma 3 مراجعه کنید. علاوه بر این، معیارهای محدودی وجود دارد که می توان از آنها برای ارزیابی تعدیل محتوا استفاده کرد، بنابراین داده های آموزش و ارزیابی ممکن است نماینده سناریوهای دنیای واقعی نباشد.

ShieldGemma 2 همچنین به توضیحات خاص ارائه شده توسط کاربر در مورد اصول ایمنی بسیار حساس است و ممکن است تحت شرایطی که نیاز به درک خوبی از ابهامات و تفاوت های زبانی دارد به طور غیرقابل پیش بینی عمل کند.

همانند سایر مدل‌هایی که بخشی از اکوسیستم Gemma هستند، ShieldGemma تابع خط‌مشی‌های استفاده ممنوع Google است.

ملاحظات اخلاقی و خطرات

توسعه مدل‌های زبان بزرگ (LLM) چندین نگرانی اخلاقی را ایجاد می‌کند. ما جنبه های متعددی را در توسعه این مدل ها به دقت در نظر گرفته ایم.

برای جزئیات بیشتر به کارت مدل Gemma 3 مراجعه کنید.

مزایا

در زمان عرضه، این خانواده از مدل‌ها، پیاده‌سازی‌های مدل زبان باز بزرگ با کارایی بالا را ارائه می‌کنند که از ابتدا برای توسعه هوش مصنوعی مسئول در مقایسه با مدل‌های با اندازه مشابه طراحی شده‌اند.

با استفاده از معیارهای ارزیابی معیار شرح داده شده در این سند، نشان داده شده است که این مدل‌ها عملکرد برتری نسبت به سایر جایگزین‌های مدل باز با اندازه قابل مقایسه ارائه می‌دهند.