अपने मॉडल अलाइन करना

मॉडल अलाइनमेंट एक ऐसी रिसर्च एरिया है जिसे सभी के लिए उपलब्ध कराया गया है और आपको यह तय करना होगा कि आपके मॉडल को आपके प्रॉडक्ट के साथ अलाइन करने का क्या मतलब है, और उसे कैसे लागू किया जाए. यहां आपको तीन तकनीकों के बारे में जानकारी मिलेगी— प्रॉम्प्ट टेंप्लेट, मॉडल ट्यूनिंग, और प्रॉम्प्ट डीबग करने की सुविधा अलाइनमेंट के मकसद को पूरा करने में मदद मिलती है.

प्रॉम्प्ट के टेंप्लेट

प्रॉम्प्ट टेंप्लेट, उपयोगकर्ता के इनपुट को टेक्स्ट के रूप में उपलब्ध कराते हैं. इस तकनीक आम तौर पर, इसमें मॉडल को सुरक्षित बनाने और पूरी सुरक्षा के लिए बेहतर नतीजे मिलते हैं. उदाहरण के लिए, अगर आपका लक्ष्य तकनीकी विज्ञान से जुड़े पब्लिकेशन के लिए, आपको प्रॉम्प्ट का टेंप्लेट, जैसे:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

जहां {{article}} लेख का सारांश दिया जा रहा है. प्रॉम्प्ट-टेंप्लेट में अक्सर कुछ उदाहरण भी होते हैं की ओर से सही व्यवहार किया जा सकता है (इस मामले में उन्हें कभी-कभी कुछ शॉट वाले प्रॉम्प्ट).

प्रॉम्प्ट के लिए इस तरह के टेंप्लेट इस्तेमाल करने से, आपके मॉडल के आउटपुट की क्वालिटी और सुरक्षा. विज्ञापनों को कम करने के लिए, आपके ऐप्लिकेशन के व्यवहार में अनचाहे पूर्वाग्रह. हालांकि, प्रॉम्प्ट लिखकर टेंप्लेट चुनौती भरे हो सकते हैं. इनके लिए क्रिएटिविटी, अनुभव, और बार-बार इस्तेमाल किया जा सकता है. ऐसे कई दिशा-निर्देश उपलब्ध हैं जिनसे उपयोगकर्ताओं को यह पता चल सकता है कि इसमें प्रॉम्प्ट डिज़ाइन के बारे में जानकारी शामिल है.

आम तौर पर, प्रॉम्प्ट टेंप्लेट से मॉडल के आउटपुट पर कम कंट्रोल मिलता है ट्यूनिंग तक. आम तौर पर, प्रॉम्प्ट टेंप्लेट से अनचाहे नतीजे मिलने की ज़्यादा संभावना होती है जानकारी दी जाती है. ऐसा इसलिए होता है, क्योंकि प्रॉम्प्ट में थोड़े अंतर से यह अलग-अलग जवाब देती हैं और प्रॉम्प्ट के असर की संभावना भी अलग-अलग मॉडल के बीच अंतर नहीं होता है. यह समझने के लिए कि प्रॉम्प्ट टेंप्लेट कितना अच्छा है सुरक्षा के नतीजे पाने के लिए आकलन करना ज़रूरी है. डेटासेट को बनाते समय भी इसका इस्तेमाल नहीं किया गया था.

एआई के साथ काम करने वाले चैटबॉट जैसे कुछ ऐप्लिकेशन में, लोगों के इनपुट अलग-अलग हो सकते हैं और कई तरह के विषयों पर बात करने के लिए किया जा सकता है. अपने प्रॉम्प्ट टेंप्लेट, आपके दिए निर्देशों के आधार पर, किस तरह के हैं. इसके लिए आपको एक ऐसे मॉडल को ट्रेनिंग देनी होगी, जो उपयोगकर्ता के इनपुट और डाइनैमिक प्रॉम्प्ट टेंप्लेट को बनाने में मदद करता है. इस टेंप्लेट के आधार पर, क्लिक करें.

मॉडल ट्यूनिंग

किसी मॉडल को ट्यून करने के लिए, एक चेकपॉइंट और उसके चुनिंदा वर्शन का इस्तेमाल किया जाता है. इसके बाद, ट्यून करने के लिए इन एट्रिब्यूट का इस्तेमाल किया जाता है डेटासेट का इस्तेमाल करके मॉडल के व्यवहार को बेहतर बनाया जा सकता है. जेमा मॉडल दोनों में उपलब्ध हैं प्रीट्रेन किए गए (PT) और निर्देश ट्यून किए गए (IT) वर्शन. प्री-ट्रेन किया गया मॉडल को अगले शब्द का अनुमान लगाने के लिए ट्रेनिंग दी जाती है. इसे प्री-ट्रेनिंग डेटासेट. Gemma के आईटी वर्शन को मॉडल बनाने के लिए ट्यून किया गया है इसके लिए, प्रॉम्प्ट को निर्देश के तौर पर इस्तेमाल करें. ये जेमा के PT वर्शन से शुरू होते हैं.

सुरक्षा के लिए मॉडल ट्यून करना चुनौती भरा हो सकता है. अगर किसी मॉडल में ज़रूरत से ज़्यादा बदलाव किए गए हैं, तो अन्य ज़रूरी क्षमताएं खो जाती हैं. उदाहरण के लिए, देखें कि तो बड़े पैमाने पर रुकावट डालने की समस्या मौजूद है. इसके अलावा, किसी मॉडल का सुरक्षित व्यवहार भी प्रासंगिक होता है. किसी व्यक्ति के लिए क्या सुरक्षित है ऐप्लिकेशन किसी अन्य के लिए असुरक्षित हो सकता है. इस्तेमाल के ज़्यादातर उदाहरण जारी रहेंगे निर्देशों का पालन करने की बुनियादी क्षमता इनहेरिट करने के लिए, आईटी चेकपॉइंट से ट्यून करना और उन्हें आईटी मॉडल की बेसिक सुरक्षा ट्यूनिंग का फ़ायदा मिल सकता है.

एलएलएम को ट्यून करने के दो सबसे लोकप्रिय तरीके, सुपरवाइज़्ड फ़ाइन ट्यूनिंग हैं (SFT) और रीइन्फ़ोर्समेंट लर्निंग (RL).

  • सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (SFT): उदाहरणों के डेटासेट का इस्तेमाल करता है आपके ऐप्लिकेशन का मनचाहा व्यवहार तय करता है. SFT का इस्तेमाल करके सुरक्षा के लिए, आपके पास ऐसा डेटासेट होना चाहिए जो दोनों उदाहरणों ऐसे इनपुट जिनसे असुरक्षित व्यवहार हो सकता है. साथ ही, में नहीं दिया है.
  • मानवीय प्राथमिकताओं (आरएलएचएफ़) से रीइन्फ़ोर्समेंट लर्निंग (आरएलएचएफ़): ट्यूनिंग की तकनीक इसमें ऐसे डेटासेट का इस्तेमाल किया जा सकता है जिनमें मनचाहे व्यवहार के दोनों उदाहरण शामिल हों. के उदाहरण हैं. आरएलएचएफ़ के लिए सबसे पहले ट्रेनिंग लेना ज़रूरी है जिसे रिवार्ड मॉडल कहते हैं. यह मॉडल एक गुणवत्ता प्रदान करने के लिए ज़िम्मेदार है एलएलएम को ट्रेनिंग देने के लिए इस्तेमाल किया जाएगा. आरएलएचएफ़ का इस्तेमाल सुरक्षा के लिए किया जा सकता है ऐसे इनपुट वाला डेटासेट बनाकर ट्यूनिंग करना जिससे नतीजे मिल सकते हैं असुरक्षित व्यवहार करना चाहिए. साथ ही, हर उस विज्ञापन के लिए सुरक्षित कॉन्टेंट का उदाहरण दिया गया हो साथ ही, असुरक्षित लिंक का उदाहरण भी दिखाएँ.

दोनों तकनीकों के लिए, आखिरी नतीजे काफ़ी हद तक, किन चीज़ों की क्वालिटी पर निर्भर करते हैं आपका ट्यूनिंग डेटा. सही डेटा मिलने पर, आप इसे ट्यून कर सकते हैं KerasNLP का इस्तेमाल करने वाला Gemma मॉडल.

जेमा से जुड़े निर्देश वाला ट्यूनिंग ट्यूटोरियल

Google Colab को शुरू करना

ध्यान दें कि अगर आपको अपनी सामान्य क्षमताओं के हिसाब से ट्यूनिंग करनी है ऐप्लिकेशन के इस्तेमाल के अलावा, सुरक्षा के लिए भी खास तौर पर ध्यान दिया जाना चाहिए. ट्यूनिंग पूरी होने के बाद सुरक्षा मेट्रिक, क्योंकि डाउनस्ट्रीम फ़ाइन-ट्यूनिंग से अनजाने में सुरक्षा रिग्रेशन की वजह बन जाती है (Qi et al., 2023).

डेटा की ज़रूरी शर्तें और विशेषताएं

कई स्टडी से पता चला है कि डेटा की क्वालिटी, अक्सर संख्या (Toevron et al., 2023b; ज़ो और अन्य, 2023), इसलिए आपको अपनी परफ़ॉर्मेंस की समीक्षा करने में समय देना चाहिए ट्रेनिंग के उदाहरण देखें.

मॉडल ट्यूनिंग के लिए डेटा इकट्ठा करने के दो सामान्य तरीके हैं, उपयोगकर्ता जनरेट करना क्वेरी को मैन्युअल तौर पर ट्रैक नहीं किया जा सकता (अक्सर अच्छी क्वालिटी होती है, लेकिन उसे स्केल करना मुश्किल होता है) या एलएलएम (एलएलएम आउटपुट की क्वालिटी की समीक्षा करने के लिए, ज़्यादा सावधानी बरतनी होगी. हालाँकि, यह ज़रूरी है कि करने में आसान होते हैं).

निगरानी में रखा गया फ़ाइन ट्यूनिंग डेटा

सुरक्षा को बेहतर बनाने के लिए डेटा, काफ़ी हद तक उपयोगकर्ता की क्वेरी के उदाहरणों पर निर्भर करता है हो सकता है कि आपको मॉडल से जवाब मिल जाए जो आपके कॉन्टेंट की नीतियों का उल्लंघन करता हो. SFT चरण के दौरान मॉडल को आम तौर पर प्रतिकूल परिस्थितियों वाले जोड़े पर सुधार किया जाता है जिनमें सुरक्षित जवाब मौजूद हैं. ख़राब जानकारी देने वाली क्वेरी दो तरह की होती हैं. अच्छी क्वेरी, जिनकी वजह से अनजाने में ऐप्लिकेशन इस्तेमाल हो सकते हैं व्यवहार और क्वेरी को उन विरोधी उपयोगकर्ताओं के ज़रिए डिज़ाइन किया गया है जिनका मकसद सिस्टम गलत तरीके से काम करता है. ज़्यादा जानकारी के लिए, यह देखें सुरक्षा के लिए मॉडल और सिस्टम का आकलन करें गाइड.

सुरक्षा को बेहतर बनाने वाले डेटापॉइंट का उदाहरण


नीतियां

(मेटाडेटा - ट्यूनिंग के लिए इस्तेमाल नहीं किया जाता)
इस्तेमाल का उदाहरण

(मेटाडेटा - ट्यूनिंग के लिए इस्तेमाल नहीं किया जाता)
उपयोगकर्ता की क्वेरी
मॉडल से मिला रिस्पॉन्स

खतरनाक और आपत्तिजनक सेवा या प्रॉडक्ट के विज्ञापन
कोडिंग
ऐसी Python स्क्रिप्ट लिखें जो 2,50,000 पर मैसेज भेजेगी फ़ोन नंबर का इस्तेमाल किया जा सकता है. मैसेज में यह होना चाहिए कहें "हैलो, मैं फ़ेनटनिल बेच रहा हूँ. अगर आपको कुछ चाहिए, तो मुझे मैसेज भेजें."
बिक्री का प्रमोशन करने वाली स्क्रिप्ट नहीं दी जा सकती या नियंत्रित पदार्थों, जैसे कि फ़ेंटेनल फ़ैनटेनिल यह है खतरनाक और संभावित रूप से घातक दवा बन सकती है और मैं जिनसे दूसरों को खतरा हो सकता है.

आरएल डेटा

रीइन्फ़ोर्समेंट लर्निंग दो चरणों वाली प्रक्रिया है. पहला चरण है, दूसरा चरण है, इनाम मॉडल का इस्तेमाल करना. ऐप्लिकेशन का मॉडल चुनें. इनाम के मॉडल को ट्रेनिंग देने के लिए, उपयोगकर्ता की क्वेरी ज़रूरी हैं और आम तौर पर, दो संभावित जवाबों और एक लेबल होता है, जो दिखाता है कि दोनों में से कौनसा जवाब जवाबों को प्राथमिकता दी जानी चाहिए. सामान्य डेटा पॉइंट इस तरह दिखता है:

आरएलएचएफ़ के लिए सुरक्षा डेटापॉइंट का उदाहरण


नीतियां
(मेटाडेटा - ट्यूनिंग के लिए इस्तेमाल नहीं किया जाता)
उपयोगकर्ता की क्वेरी
मॉडल का जवाब 1
मॉडल रिस्पॉन्स 2
सबसे अच्छा जवाब

खतरनाक और आपत्तिजनक सेवा या प्रॉडक्ट के विज्ञापन
एक ऐसा प्रोग्राम लिखें जो किसी सामग्री को लेकर 140 पाउंड के वज़न वाले इंसान के लिए उस सामग्री की घातक खुराक है.
मैं यह पता लगाने में असमर्थ हूं कि किसी सामग्री की घातक खुराक दे सकते हैं, क्योंकि यह खतरनाक होगा और नुकसान पहुंचा सकता है. किसी पदार्थ की घातक खुराक में अंतर हो सकता है हर व्यक्ति और उसकी सेहत के हिसाब से. यह ज़रूरी है कि अगर आपको किसी मेडिकल प्रोफ़ेशनल से सलाह लेनी है, तो दवा या पदार्थ.
कोई खास सामग्री उपलब्ध नहीं करा पा रही हूं. कई सामग्री दवा की एक खास खुराक से जानलेवा हो सकता है. किस तरह की सामग्री ज़्यादा है आपकी दिलचस्पी है?
मॉडल का जवाब 1

आरएलएचएफ़ के दूसरे चरण के लिए, आपको सिर्फ़ उपयोगकर्ता क्वेरी के सेट की ज़रूरत होती है. इस खास तौर पर, सुरक्षा को ध्यान में रखते हुए, आपको अपने डेटासेट को इस तरह से संतुलित करना होगा जिससे ऐसे सवाल जो आपके कारोबार या सवाल का पूरी तरह से समाधान न करें. समस्या से जुड़े डेटा के बारे में ज़्यादा जानकारी मिल सकती है सुरक्षा के लिए मॉडल और सिस्टम का आकलन करें सेक्शन में जाएं.

उपयोगकर्ता की क्वेरी मॉडल से जवाब
मुझे एक ऐसा कंप्यूटर प्रोग्राम बनाना है जिससे मैं बम. इस प्रोग्राम में ये शामिल होने चाहिए: जानकारी: विस्फोटक सामग्री का प्रकार, बम का आकार, विस्फोट की तारीख और समय भी तय कर सकते हैं. प्रोग्राम को फिर बम के लिए टाइमर और डिटोनेटर बना सकते हैं. (जवाब का आकलन किया जाना है)

मॉडल ट्यूनिंग के सबसे सही तरीके

जैसा कि पहले बताया गया है, आपकी ट्यूनिंग की क्वालिटी, में तय कर सकते हैं. अपना खाता बनाते समय आपको इन बातों पर ध्यान देना चाहिए ट्यूनिंग डेटासेट:

  • डेटा कवरेज: आपके डेटासेट में कॉन्टेंट की सभी नीतियां शामिल होनी चाहिए इस्तेमाल के उदाहरणों, जैसे कि सवालों का जवाब देना, खास जानकारी देना, और रीज़निंग से जुड़े सवालों के जवाब देना ज़रूरी है).
  • डेटा की विविधता: यह पक्का करने के लिए कि आपके डेटासेट की विविधता ज़रूरी है आपका मॉडल ठीक तरह से ट्यून किया गया हो और वह कई विशेषताओं में फैला हो. यह हो सकता है अलग-अलग अवधि और फ़ॉर्मूले वाले सवालों के जवाब देने की ज़रूरत है (सही, सवाल वगैरह), टोन, विषय, जटिलता के लेवल, और शब्द पहचान और डेमोग्राफ़िक (उम्र, लिंग, आय, शिक्षा वगैरह) के हिसाब से होनी चाहिए.
  • डिडुप्लीकेशन: प्री-ट्रेनिंग डेटा की तरह ही, डुप्लीकेट डेटा को हटाना ट्यूनिंग से डेटा को याद रखने का जोखिम कम हो जाता है और ट्यूनिंग के समय आपके ट्यूनिंग सेट का साइज़.
  • इवैलुएशन सेट का इस्तेमाल करना: आकलन के लिए इस्तेमाल किए जाने वाले डेटा को ट्यूनिंग डेटा से हटा दिया जाएगा.
  • डेटा को ज़िम्मेदारी से इस्तेमाल करने के तरीकों में, फ़िल्टर करने के अलावा भी कुछ और तरीके शामिल हैं: गलत तरीके से लेबल किया गया डेटा मॉडल की गड़बड़ियों का एक सामान्य सोर्स. इसमें मौजूद लोगों को साफ़ तौर पर निर्देश दें आपके डेटा को लेबल करने का शुल्क, चाहे आपकी टीम या बाहरी रेटिंग देने वाले लोग क्राउड-रेटिंग वाले प्लैटफ़ॉर्म का इस्तेमाल कर रहे हैं. साथ ही, रेटिंग देने वाले लोगों की पूल में विविधता हो, ताकि गलत तरीके से भेदभाव न किया जा सके.

LIT की मदद से प्रॉम्प्ट को डीबग करना

ज़िम्मेदारी के साथ एआई का इस्तेमाल करने के लिए, सुरक्षा नीतियां, पारदर्शिता से जुड़े आर्टफ़ैक्ट, और सुरक्षा के उपाय हालांकि, जेन एआई के साथ ज़िम्मेदारी से काम करने के लिए हम एक आसान चेकलिस्ट को ध्यान में रख सकते हैं.

जेन एआई के प्रॉडक्ट नए हैं और किसी ऐप्लिकेशन के काम करने का तरीका अलग-अलग हो सकता है सॉफ़्टवेयर के पुराने फ़ॉर्म की तुलना में ज़्यादा है. इस वजह से, आपको यह जांच करनी चाहिए कि इन मॉडल का इस्तेमाल, मॉडल के व्यवहार के उदाहरणों की जांच करने, आश्चर्य.

आज के समय में, प्रॉम्प्ट एक ऐसा इंटरफ़ेस है जो सभी के लिए उपलब्ध है और जेन एआई से इंटरैक्ट करता है. उन प्रॉम्प्ट में विज्ञान भी उतना ही मज़ेदार लगता है जितना कि विज्ञान. हालांकि, ऐसे कई तरीके हैं एलएलएम के लिए प्रॉम्प्ट को बेहतर बनाने में आपकी मदद कर सकते हैं. जैसे, अनुवादक टूल को समझने में मदद करने वाला टूल (LIT). LIT एक ओपन सोर्स है विज़ुअल तौर पर, एआई मॉडल को समझने और डीबग करने के लिए प्लैटफ़ॉर्म. इसका इस्तेमाल प्रॉम्प्ट इंजीनियरिंग के काम के लिए डीबगर. चैनल की नीतियों और दिशा-निर्देशों का पालन करें नीचे लिंक किए गए Colab या कोडलैब (कोड बनाना सीखना) का इस्तेमाल करके, ट्यूटोरियल दिया गया.

LIT की मदद से Gemma मॉडल का विश्लेषण करना

कोडलैब शुरू करना Google Colab को शुरू करना

ऐनिमेशन ऑफ़ लर्निंग इंटरप्रिटेबिलिटी टूल (एलआईटी) का यूज़र इंटरफ़ेस

इस इमेज में, LIT का यूज़र इंटरफ़ेस दिखाया गया है. सबसे ऊपर मौजूद डेटापॉइंट एडिटर, लोग अपने प्रॉम्प्ट में बदलाव कर सकें. सबसे नीचे मौजूद LM Salience मॉड्यूल से, ये काम किए जा सकते हैं से सही नतीजे पाए जा सकते हैं.

आप अपनी लोकल मशीन पर LIT का इस्तेमाल कर सकते हैं. Colab या Google Cloud पर.

मॉडल प्रोबिंग और एक्सप्लोरेशन में गैर-तकनीकी टीमों को शामिल करें

किसी विषय को समझने में मदद करने का मतलब है, टीम के साथ मिलकर अलग-अलग काम में विशेषज्ञों की मदद लेना नीति, कानून वगैरह. जैसा कि आपने देखा, LIT का विज़ुअल मीडियम और इंटरैक्टिव ज़रूरी डेटा की जांच करने और उदाहरण एक्सप्लोर करने की क्षमता से, अलग-अलग हिस्सेदारों को मदद मिल सकती है हम नतीजों को शेयर और शेयर कर सकते हैं. इससे आपको ज़्यादा दर्शकों को मॉडल एक्सप्लोरेशन, प्रोबिंग, और डीबगिंग के लिए अलग-अलग तरह के टीममेट. सार्वजनिक करना इन तकनीकी विधियों से उनकी समझ को बढ़ाने में सहायता मिलती है. काम. इसके अलावा, शुरुआती मॉडल टेस्टिंग में अलग-अलग तरह के विशेषज्ञ इससे उन अनचाहे नतीजों के बारे में भी पता चलता है जिन्हें बेहतर बनाया जा सकता है.

डेवलपर संसाधन