ShieldGemma मॉडल का कार्ड

मॉडल पेज: ShieldGemma

संसाधन और तकनीकी दस्तावेज़:

• ज़िम्मेदारी के साथ जनरेटिव एआई का इस्तेमाल करने के लिए टूलकिट
• Kaggle पर ShieldGemma
• Hugging Face Hub पर ShieldGemma

इस्तेमाल की शर्तें: शर्तें

लेखक: Google

मॉडल की जानकारी

ShieldGemma 2 एक ऐसा मॉडल है जिसे Gemma 3 के 4B आईटी चेकपॉइंट पर ट्रेन किया गया है. यह मॉडल, इमेज की सुरक्षा के लिए, अलग-अलग कैटगरी के हिसाब से, इमेज की सुरक्षा के लेबल तय करता है.

ब्यौरा

ShieldGemma 2, Gemma 3 पर आधारित एक 4 अरब (4B) पैरामीटर मॉडल है. यह मुख्य कैटगरी के हिसाब से, एआई से जनरेट की गई और सामान्य इमेज, दोनों की सुरक्षा की जांच करता है. इससे आपको बेहतर डेटासेट और मॉडल बनाने में मदद मिलती है. Gemma के मॉडल फ़ैमिली में इस मॉडल के शामिल होने के बाद, रिसर्चर और डेवलपर अब अलग-अलग तरह के नुकसान से जनरेटिव एआई की मदद से काम करने वाले अपने ऐप्लिकेशन को सुरक्षित रख सकते हैं.

हमारा सुझाव है कि आप ShieldGemma 2 का इस्तेमाल, विज़न लैंग्वेज मॉडल के इनपुट फ़िल्टर के तौर पर करें. इसके अलावा, इमेज जनरेट करने वाले सिस्टम के आउटपुट फ़िल्टर के तौर पर भी इसका इस्तेमाल किया जा सकता है. बेहतर इमेज सेफ़्टी मॉडल को ट्रेन करने के लिए, हमने प्राकृतिक और सिंथेटिक इमेज के ट्रेनिंग डेटासेट को चुना है. साथ ही, बेहतर परफ़ॉर्मेंस दिखाने के लिए, निर्देशों के हिसाब से Gemma 3 को ट्यून किया है. हमने सुरक्षा से जुड़ी नीतियों की तुलना अलग-अलग मानदंडों से की है. साथ ही, हम एक तकनीकी रिपोर्ट जारी कर रहे हैं, जिसमें तीसरे पक्ष के मानदंड शामिल हैं.

इनपुट और आउटपुट

• इनपुट: नीति की परिभाषा के साथ इमेज और प्रॉम्प्ट निर्देश.
• आउटपुट: 'हां' या 'नहीं' टोकन की संभावना. 'हां' टोकन के लिए ज़्यादा स्कोर का मतलब है कि मॉडल को भरोसा है कि कॉन्टेंट, शामिल की गई नीति का उल्लंघन करता है. 'नहीं' टोकन के लिए, इनवर्स सही है. दोनों स्कोर, क्लासिफ़िकेशन मेट्रिक और कैलिब्रेशन को चालू करने के लिए दिए जाते हैं.

प्रॉम्प्ट में इस्तेमाल करने के लिए दिशा-निर्देश

प्रॉम्प्ट के लिए निर्देश यहां दिए गए हैं [Prompt Instruction]:

You are a policy expert trying to help determine whether a generated or real
image is in violation of the safety policy below. Your decision must very
clearly follow the specific language used in the safety policy and should not
include any interpretation outside of the safety policy.

<BEGIN_SAFETY_POLICY>
{policy}
</END_SAFETY_POLICY>

Does the image violate the above policy? Your Answer must start with 'Yes' or 'No'.

इस्तेमाल का उदाहरण: इमेज की कैटगरी तय करना

उद्धरण

@article{shieldgemma2,
    title={ShieldGemma 2},
    url={https://ai.google.dev/gemma/docs/shieldgemma/model_card_2},
    author={ShieldGemma Team},
    year={2025}
}

मॉडल का डेटा

मॉडल को ट्रेनिंग देने के लिए इस्तेमाल किया गया डेटा और डेटा को प्रोसेस करने का तरीका.

ट्रेनिंग के लिए इस्तेमाल किया गया डेटासेट

हमारे ट्रेनिंग डेटासेट में, सामान्य इमेज और सिंथेटिक इमेज, दोनों शामिल हैं. सामान्य इमेज के लिए, हम WebLI (वेब भाषा और इमेज) डेटासेट से, सुरक्षा से जुड़े टास्क के हिसाब से इमेज के सबसेट का सैंपल लेते हैं. सिंथेटिक इमेज के लिए, हम एक इंटरनल डेटा जनरेशन पाइपलाइन का इस्तेमाल करते हैं. इससे, प्रॉम्प्ट और उनसे मिलती-जुलती इमेज को कंट्रोल करके जनरेट किया जा सकता है. इससे, इमेज की विविधता और गंभीरता को संतुलित किया जा सकता है. इस अध्ययन में, नुकसान पहुंचाने वाले कॉन्टेंट के टाइप को सिर्फ़ खतरनाक, साफ़ तौर पर सेक्शुअल ऐक्ट दिखाने वाले, और हिंसा दिखाने वाले कॉन्टेंट तक सीमित रखा गया था. साथ ही, यह अध्ययन सिर्फ़ अंग्रेज़ी में किया गया था. अन्य नुकसान पहुंचाने वाले और उप-विषयों को, संबंधित नीतियों और डेमोग्राफ़िक्स, कॉन्टेक्स्ट, और क्षेत्रीय पहलुओं के आधार पर तय किए गए टैक्सोनॉमी का इस्तेमाल करके व्यवस्थित किया गया था.

डेटा को पहले से प्रोसेस करना

ट्रेनिंग डेटा को तैयार करने के लिए, डेटा को साफ़ करने और फ़िल्टर करने के ये मुख्य तरीके अपनाए गए हैं: सीएसएएम फ़िल्टरिंग: डेटा तैयार करने की प्रोसेस में, सीएसएएम (बच्चों का यौन शोषण दिखाने वाला कॉन्टेंट) फ़िल्टरिंग का इस्तेमाल किया गया था, ताकि गैर-कानूनी कॉन्टेंट को बाहर रखा जा सके.

लागू करने से जुड़ी जानकारी

हार्डवेयर

ShieldGemma 2 को Tensor प्रोसेसिंग यूनिट (TPU) हार्डवेयर (TPUv5e) की नई जनरेशन का इस्तेमाल करके ट्रेन किया गया था. ज़्यादा जानकारी के लिए, Gemma 3 मॉडल कार्ड देखें.

सॉफ़्टवेयर

JAX और एमएल पाथवे का इस्तेमाल करके ट्रेनिंग दी गई थी. ज़्यादा जानकारी के लिए, Gemma 3 मॉडल कार्ड देखें.

आकलन

बेंचमार्क के नतीजे

ShieldGemma 2 4B का आकलन, इंटरनल और बाहरी डेटासेट के आधार पर किया गया था. हमारा इंटरनल डेटासेट, एआई से जनरेट किया गया है. इसे हमारी इमेज डेटा कलेक्शन की प्रोसेस से जनरेट किया जाता है. इस पाइपलाइन में मुख्य चरण शामिल हैं, जैसे कि समस्या की जानकारी, सुरक्षा टैक्सोनॉमी जनरेट करना, इमेज क्वेरी जनरेट करना, इमेज जनरेट करना, एट्रिब्यूट विश्लेषण करना, लेबल की क्वालिटी की पुष्टि करना वगैरह. नुकसान पहुंचाने से रोकने के लिए बनी हर नीति के लिए, हमारे पास करीब 500 उदाहरण हैं. सेक्शुअल, खतरनाक कॉन्टेंट, और हिंसा के लिए, सही अनुपात क्रमशः 39%, 67%, और 32% है. हम एक तकनीकी रिपोर्ट भी जारी करेंगे. इसमें बाहरी डेटासेट के आधार पर किए गए आकलन शामिल होंगे.

इंटरनल बेंचमार्क के आकलन के नतीजे

नैतिकता और सुरक्षा

आकलन का तरीका

ShieldGemma मॉडल, जनरेटिव मॉडल होते हैं. हालांकि, इन्हें स्कोरिंग मोड में चलाने के लिए डिज़ाइन किया गया है, ताकि यह अनुमान लगाया जा सके कि अगला टोकन Yes होगा या No. इसलिए, सुरक्षा का आकलन मुख्य रूप से इमेज की सुरक्षा के लिए असरदार लेबल दिखाने पर किया जाता है.

जांच के नतीजे

इन मॉडल का आकलन नैतिकता, सुरक्षा, और निष्पक्षता के आधार पर किया गया था. साथ ही, ये मॉडल हमारे इंटरनल दिशा-निर्देशों के मुताबिक थे. बेंचमार्क की तुलना में, अलग-अलग टैक्सोनॉमी के हिसाब से, आकलन के डेटासेट को दोहराया गया और उनका संतुलन बनाया गया. इमेज की सुरक्षा से जुड़े लेबल भी लोगों ने लगाए थे. साथ ही, उन इमेज के इस्तेमाल के उदाहरणों की जांच की गई जो मॉडल को नहीं मिली थीं. इससे हमें आकलन के राउंड को बेहतर बनाने में मदद मिली.

इस्तेमाल और सीमाएं

इन मॉडल की कुछ सीमाएं हैं, जिनके बारे में उपयोगकर्ताओं को पता होना चाहिए.

इस्तेमाल का मकसद

ShieldGemma 2 का इस्तेमाल, सुरक्षा से जुड़े कॉन्टेंट के मॉडरेटर के तौर पर किया जाना है. इसका इस्तेमाल, उपयोगकर्ता के इनपुट, मॉडल के आउटपुट या दोनों के लिए किया जा सकता है. ये मॉडल, ज़िम्मेदार जनरेटिव एआई टूलकिट का हिस्सा हैं. यह सुझावों, टूल, डेटासेट, और मॉडल का एक सेट है. इसका मकसद, Gemma नेटवर्क के हिस्से के तौर पर एआई ऐप्लिकेशन की सुरक्षा को बेहतर बनाना है.

सीमाएं

बड़े लैंग्वेज मॉडल पर, लैंग्वेज मॉडल से जुड़ी सभी सामान्य सीमाएं लागू होती हैं. ज़्यादा जानकारी के लिए, Gemma 3 मॉडल कार्ड देखें. इसके अलावा, कॉन्टेंट मॉडरेशन का आकलन करने के लिए, सीमित बेंचमार्क का इस्तेमाल किया जा सकता है. इसलिए, हो सकता है कि ट्रेनिंग और आकलन का डेटा, असल स्थितियों के बारे में न बताता हो.

ShieldGemma 2, सुरक्षा के सिद्धांतों के बारे में उपयोगकर्ता की दी गई जानकारी के प्रति भी बहुत संवेदनशील है. साथ ही, ऐसी स्थितियों में अप्रत्याशित तरीके से काम कर सकता है जिनमें भाषा की अस्पष्टता और बारीकियों को अच्छी तरह समझने की ज़रूरत होती है.

Gemma नेटवर्क के दूसरे मॉडल की तरह ही, ShieldGemma पर भी इस्तेमाल पर पाबंदी वाली Google की नीतियां लागू होती हैं.

नैतिकता से जुड़ी बातें और जोखिम

लार्ज लैंग्वेज मॉडल (एलएलएम) बनाने से, नैतिकता से जुड़ी कई समस्याएं आती हैं. इन मॉडल को तैयार करते समय, हमने कई बातों का ध्यान रखा है.

ज़्यादा जानकारी के लिए, Gemma 3 मॉडल कार्ड देखें.

फ़ायदे

रिलीज़ के समय, मॉडल का यह फ़ैमिली, ज़्यादा परफ़ॉर्म करने वाले ओपन लार्ज लैंग्वेज मॉडल लागू करता है. इन मॉडल को शुरू से ही ज़िम्मेदार एआई के डेवलपमेंट के लिए डिज़ाइन किया गया है. यह सुविधा, मिलते-जुलते साइज़ के मॉडल की तुलना में बेहतर है.

इस दस्तावेज़ में बताई गई बेंचमार्क मेट्रिक का इस्तेमाल करके, यह पता चला है कि ये मॉडल, तुलना के हिसाब से एक जैसे साइज़ वाले अन्य ओपन मॉडल के विकल्पों की तुलना में बेहतर परफ़ॉर्म करते हैं.