अपने मॉडल अलाइन करना

अलाइनमेंट, जनरेटिव एआई (GenAI) के व्यवहार को मैनेज करने की प्रोसेस है. इससे यह पक्का किया जाता है कि इसके आउटपुट, आपके प्रॉडक्ट की ज़रूरतों और उम्मीदों के मुताबिक हों. इस क्षेत्र में रिसर्च के लिए कई कदम उठाए जा सकते हैं. इसके लिए, आपको इन चीज़ों की ज़रूरत पड़ेगी ताकि यह तय किया जा सके कि आपके मॉडल को अपने प्रॉडक्ट के साथ अलाइन करने का क्या मतलब है. साथ ही, जिसे लागू करना है. इस दस्तावेज़ में, दो तकनीकों के बारे में बताया गया है: प्रॉम्प्ट टेंप्लेट और मॉडल ट्यूनिंग. साथ ही, ऐसे टूल के बारे में भी बताया गया है जिनकी मदद से प्रॉम्प्ट को फिर से तैयार किया जा सकता है और डीबग किया जा सकता है. इन टूल का इस्तेमाल करके, अलाइनमेंट के लक्ष्यों को हासिल किया जा सकता है. मॉडल अलाइनमेंट के लक्ष्यों और तरीकों के बारे में ज़्यादा जानने के लिए, आर्टिफ़िशियल इंटेलिजेंस, वैल्यू, और अलाइनमेंट देखें.

प्रॉम्प्ट के टेंप्लेट

प्रॉम्प्ट टेंप्लेट को सिस्टम प्रॉम्प्ट भी कहा जाता है. ये उपयोगकर्ता के बारे में जानकारी देते हैं आपके इस्तेमाल के उदाहरण के आधार पर, इनपुट और मॉडल आउटपुट में सिस्टम के लिए निर्देश और ऐसे कुछ उदाहरण जो मॉडल को सुरक्षित बनाने में मदद करते हैं और बेहतर क्वालिटी के नतीजे भी मिलते हैं. उदाहरण के लिए, अगर आपका मकसद तकनीकी वैज्ञानिक पब्लिकेशन की अच्छी क्वालिटी वाली खास जानकारी पाना है, तो आपको इनमें से किसी प्रॉम्प्ट टेंप्लेट का इस्तेमाल करने में मदद मिल सकती है:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

यहां {{article}}, उस लेख का प्लेसहोल्डर है जिसकी खास जानकारी दी जा रही है.

संदर्भ के हिसाब से बनाए गए प्रॉम्प्ट टेंप्लेट, आपके मॉडल के आउटपुट की क्वालिटी और सुरक्षा को बेहतर बना सकते हैं. हालांकि, प्रॉम्प्ट टेंप्लेट लिखना मुश्किल हो सकता है और क्रिएटिविटी, अनुभव, और बहुत ज़्यादा काम की ज़रूरत होती है. कॉन्टेंट बनाने मॉडल एलाइनमेंट लाइब्रेरी एलएलएम की मदद से, अपने प्रॉम्प्ट टेंप्लेट के डिज़ाइन को बार-बार बेहतर बनाना, जैसे, Gemini. इसके अलावा, सुझाव देने वाली कई गाइड भी उपलब्ध हैं. इसमें Gemini API के इस्तेमाल के सबसे सही तरीक़े और Vertex AI.

आम तौर पर, ट्यूनिंग की तुलना में प्रॉम्प्ट टेंप्लेट, मॉडल के आउटपुट पर कम कंट्रोल देते हैं. साथ ही, इनमें नुकसान पहुंचाने वाले इनपुट से अनचाहे नतीजे मिलने की संभावना ज़्यादा होती है. यह सटीक तौर पर समझने के लिए कि सुरक्षा से जुड़े खास लक्ष्यों के लिए, प्रॉम्प्ट टेंप्लेट की परफ़ॉर्मेंस कैसी है, यह ज़रूरी है कि ऐसे आकलन डेटासेट का इस्तेमाल किया जाए जिसका इस्तेमाल टेंप्लेट के डेवलपमेंट में भी न किया गया हो. प्रॉम्प्ट डीबग करने वाले टूल, प्रॉम्प्ट में सिस्टम, उपयोगकर्ता, और मॉडल के कॉन्टेंट के बीच खास इंटरैक्शन आपका मॉडल देखता है. खास तौर पर, ये जनरेट किए गए आउटपुट के कुछ हिस्सों को, प्रॉम्प्ट में मौजूद सबसे काम के और असरदार कॉन्टेंट से जोड़ सकते हैं.

मॉडल ट्यूनिंग

किसी मॉडल को ट्यून करने के लिए, एक चेकपॉइंट और उसके चुनिंदा वर्शन का इस्तेमाल किया जाता है. इसके बाद, ट्यून करने के लिए इन एट्रिब्यूट का इस्तेमाल किया जाता है डेटासेट का इस्तेमाल करके मॉडल के व्यवहार को बेहतर बनाया जा सकता है. Gemma मॉडल और अन्य एलएलएम, पहले से ट्रेन किए गए (पीटी) और निर्देश के हिसाब से ट्यून किए गए (आईटी) वैरिएंट, दोनों में उपलब्ध हैं. पीटी वैरिएंट, प्रॉम्प्ट को प्रीफ़िक्स के तौर पर इस्तेमाल करते हैं, ताकि उससे आगे की प्रोसेस जारी रखी जा सके. वहीं, आईटी ट्यून किए गए वैरिएंट को और भी बेहतर बनाया गया है, ताकि वे प्रॉम्प्ट को निर्देशों के एक सेट के तौर पर इस्तेमाल कर सकें. इन निर्देशों में, किसी टास्क को पूरा करने का तरीका बताया गया होता है. ज़्यादातर मामलों में, आपको निर्देशों का पालन करने और सुरक्षा से जुड़े बुनियादी फ़ायदे पाने के लिए, आईटी वैरिएंट से शुरुआत करनी चाहिए. हालांकि, अपने ऐप्लिकेशन के खास लक्ष्यों को हासिल करने के लिए, आपको और भी ट्यूनिंग की ज़रूरत पड़ सकती है.

सुरक्षा के लिए मॉडल को ट्यून करना मुश्किल और चुनौती भरा काम है. अगर कोई मॉडल ज़रूरत से ज़्यादा ट्यून किया गया है, इसकी वजह से अन्य ज़रूरी सुविधाएं भी खो सकती हैं. उदाहरण के लिए, काफ़ी ज़्यादा इंटरफ़ियरेंस की समस्या देखें. इसके अलावा, सुरक्षित काम के हिसाब से मॉडल सही तरीके से काम करता है. एक ऐप्लिकेशन के लिए क्या सुरक्षित हो सकता है किसी और के लिए असुरक्षित. अगर आपको लगता है कि सुरक्षा से जुड़ी अतिरिक्त ट्यूनिंग के बाद भी आपका मॉडल ठीक से काम नहीं कर रहा है, तो ऐसे सुरक्षा उपाय अपनाएं जो उपयोगकर्ता के व्यवहार से जुड़ी नीतियों को लागू करते हों.

एलएलएम को ट्यून करने के दो सबसे लोकप्रिय तरीके हैं, सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (एसएफ़टी) और रिइंफ़ोर्समेंट लर्निंग (आरएल).

• सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (SFT), उदाहरणों के डेटासेट का इस्तेमाल करती है, जो कोड को कोड में बदलते हैं डेटा को लेबल करके, आपके ऐप्लिकेशन के काम करने के तरीके के बारे में बताता है. SFT का इस्तेमाल करके अपने मॉडल को सुरक्षा के लिए ट्यून करने के लिए, आपके पास ऐसा डेटासेट होना चाहिए जिसमें सुरक्षित साथ ही, असुरक्षित व्यवहार के बारे में भी बताया गया हो. इससे मॉडल, मौजूदा डेटा के अंतर.
• मानवीय प्राथमिकताओं (आरएलएचएफ़) से रीइन्फ़ोर्समेंट लर्निंग (आरएलएचएफ़) के लिए इनाम वाले मॉडल का इस्तेमाल किया जाता है एलएलएम की जनरेट की गई पीढ़ियों के लिए, उनके व्यवहार के अनुपालन के आधार पर स्कोर करें की नीतियों के बारे में ज़्यादा जानें. SFT की तरह, आरएलएचएफ़ इनाम मॉडल को दोनों के लिए ट्रेनिंग देने की ज़रूरत है सही स्कोर जनरेट करने के लिए, सुरक्षित और असुरक्षित गतिविधियों से जुड़ी गतिविधियां दिखाने की कोशिश की जाती है. आरएलएचएफ़ की लागत ज़्यादा होती है, लेकिन इससे बेहतर परफ़ॉर्मेंस मिल सकती है. इसकी वजह यह है कि इनाम वाले मॉडल में, स्कोर में बारीकियों को कोड में बदलने की ज़्यादा सुविधा होती है.

दोनों तकनीकों के लिए, आखिरी नतीजे काफ़ी हद तक, किन चीज़ों की क्वालिटी पर निर्भर करते हैं आपका ट्यूनिंग डेटा. सही डेटा मिलने के बाद, KerasNLP का इस्तेमाल करके Gemma मॉडल को ट्यून किया जा सकता है.

जेमा से जुड़े निर्देश वाला ट्यूनिंग ट्यूटोरियल

Google Colab को शुरू करना

डेटा की ज़रूरी शर्तें और विशेषताएं

रिसर्च में पता चला है कि डेटा क्वालिटी अक्सर इसलिए, आपको ट्रेनिंग के उदाहरणों की समीक्षा करके यह पक्का करना चाहिए कि आपके डेटा की क्वालिटी (Touvron, 2023; ज़ोउ, 2023).

ट्यूनिंग के लिए ट्रेनिंग और इवैलुएशन का डेटा चुनने के लिए, ये दो तरीके अपनाए जाते हैं: मैन्युअल तरीके से या एलएलएम की मदद से, उपयोगकर्ता के इनपुट को जनरेट करें. इंसान का डेटा जनरेट करना है एलएलएम जनरेट किए गए डेटा की तुलना में, अक्सर अच्छी क्वालिटी की होती है. इसके लिए, कम निगरानी की ज़रूरत होती है. हालाँकि, इसे स्केल करना मुश्किल होता है और अक्सर यह ज़्यादा महंगा होता है.

निगरानी में रखा गया फ़ाइन ट्यूनिंग डेटा

सुरक्षा को बेहतर बनाने के लिए डेटा, काफ़ी हद तक उपयोगकर्ता की क्वेरी के उदाहरणों पर निर्भर करता है हो सकता है कि आपको मॉडल से जवाब मिल जाए जो आपके कॉन्टेंट की नीतियों का उल्लंघन करता हो. एसएफ़टी चरण के दौरान, मॉडल को आम तौर पर सुरक्षित जवाबों वाली, नुकसान पहुंचाने वाली क्वेरी के जोड़े पर फ़ाइन-ट्यून किया जाता है. विरोधी क्वेरी दो तरह की होती हैं. अच्छी क्वेरी, जिनकी वजह से अनजाने में ऐप्लिकेशन इस्तेमाल हो सकते हैं व्यवहार और क्वेरी को उन प्रतिकूल उपयोगकर्ताओं के ज़रिए डिज़ाइन किया गया है, जो आपके सिस्टम गलत तरीके से काम करता है. ज़्यादा जानकारी के लिए, यह देखें सुरक्षा के लिए मॉडल और सिस्टम का आकलन करें गाइड.

सुरक्षा को बेहतर बनाने वाले डेटापॉइंट का उदाहरण

आरएल डेटा

रीइन्फ़ोर्समेंट लर्निंग दो चरणों वाली प्रक्रिया है. पहला चरण है, दूसरा चरण है, इनाम के मॉडल का इस्तेमाल करना. ऐप्लिकेशन का मॉडल चुनें. इनाम के मॉडल को ट्रेनिंग देने के लिए, उपयोगकर्ता की क्वेरी ज़रूरी हैं और आम तौर पर, दो संभावित जवाबों और एक लेबल होता है, जो दिखाता है कि दोनों में से कौनसा जवाब जवाबों को प्राथमिकता दी जानी चाहिए. सामान्य डेटा पॉइंट इस तरह दिखता है:

आरएलएचएफ़ के लिए सुरक्षा डेटापॉइंट का उदाहरण

आरएलएचएफ़ के दूसरे चरण के लिए, आपको सिर्फ़ उपयोगकर्ता की क्वेरी का एक सेट चाहिए. इस खास तौर पर, सुरक्षा को ध्यान में रखते हुए, आपको अपने डेटासेट को इस तरह से संतुलित करना होगा जिससे ऐसे सवाल जो आपके कारोबार या सवाल का पूरी तरह से समाधान न करें. अडवर्सरी डेटा के बारे में ज़्यादा जानने के लिए, सुरक्षा के लिए मॉडल और सिस्टम का आकलन करना सेक्शन में जाएं.

मॉडल ट्यूनिंग के सबसे सही तरीके

जैसा कि पहले बताया गया है, आपकी ट्यूनिंग की क्वालिटी, में तय कर सकते हैं. अपना खाता बनाते समय आपको इन बातों पर ध्यान देना चाहिए ट्यूनिंग डेटासेट:

• डेटा कवरेज: आपके डेटासेट में कॉन्टेंट की सभी नीतियां शामिल होनी चाहिए इस्तेमाल के उदाहरणों, जैसे कि सवालों का जवाब देना, खास जानकारी देना, और रीज़निंग से जुड़े सवालों के जवाब देना ज़रूरी है).
• डेटा की विविधता: यह पक्का करने के लिए कि आपके डेटासेट की विविधता ज़रूरी है आपका मॉडल ठीक तरह से ट्यून किया गया हो और कई विशेषताओं में फैला हो. यह हो सकता है अलग-अलग अवधि और फ़ॉर्मूले वाले सवालों के जवाब देने की ज़रूरत है (सही, सवाल वगैरह), टोन, विषय, जटिलता के लेवल, और शब्द पहचान और डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) के हिसाब से होनी चाहिए.
• डिडुप्लीकेशन: प्री-ट्रेनिंग डेटा की तरह ही, डुप्लीकेट डेटा को हटाना ट्यूनिंग से डेटा को याद रखने का जोखिम कम हो जाता है और ट्यूनिंग के समय आपके ट्यूनिंग सेट का साइज़.
• इवैलुएशन सेट का इस्तेमाल करना: आकलन के लिए इस्तेमाल किए जाने वाले डेटा को ट्यूनिंग डेटा से हटा दिया जाएगा.
• डेटा को ज़िम्मेदारी से इस्तेमाल करने के तरीकों में, फ़िल्टर करने के अलावा भी कुछ और तरीके शामिल हैं: गलत तरीके से लेबल किया गया डेटा मॉडल की गड़बड़ियों का एक सामान्य सोर्स. अपने डेटा को लेबल करने वाले लोगों को साफ़ निर्देश दें. अगर क्राउड-रेटिंग प्लैटफ़ॉर्म का इस्तेमाल किया जा रहा है, तो अपनी टीम या बाहरी रेटर को निर्देश दें. साथ ही, पक्षपात से बचने के लिए, रेटिंग देने वाले लोगों के पूल में अलग-अलग तरह के लोग शामिल करें.

डेवलपर संसाधन

• अच्छी क्वालिटी वाले ट्यूनिंग डेटासेट, जिनमें सुरक्षा से जुड़ा डेटा शामिल है:
  • आरएलएचएफ़ के लिए एंथ्रोपिक का डेटासेट
  • सुरक्षा के लिहाज़ से बेहतर बनाए गए LLaMAs डेटासेट
• Google की People + AI Guidebook में, आपको डेटा इकट्ठा करने और उसे तैयार करने के लिए, एक ज़िम्मेदार तरीका.
• LIT की वेबसाइट