मॉडल अलाइनमेंट

Gemini या Gemma जैसे आर्टिफ़िशियल इंटेलिजेंस (एआई) मॉडल के लिए ऐसा प्रॉम्प्ट बनाना जो आपके इंटेंट को पूरी तरह से कैप्चर कर सके, आसान काम नहीं है. अक्सर, आपको मैन्युअल तरीके से प्रॉम्प्ट लिखना होगा. इसके बाद, उसे अलग-अलग इस्तेमाल के उदाहरण में टेस्ट करना होगा, ताकि पक्का करें कि यह आपकी ज़रूरतों के मुताबिक हो. नतीजों के आधार पर, प्रॉम्प्ट में टारगेट किए गए अपडेट किए जा सकते हैं: एक जगह पर कुछ शब्द बदलना, किसी दूसरी जगह पर नया वाक्य जोड़ना. यह सिद्धांत ज़्यादा भरोसेमंद नहीं है और हो सकता है कि यह नतीजे.

Google ने एक ऐसा तरीका तैयार किया है जो एलएलएम का इस्तेमाल करके, इन कामों के लिए करता है इस हिसाब से, प्रॉम्प्ट टेंप्लेट अपने-आप अपडेट होता है आसान भाषा में मॉडल के आउटपुट के बारे में दिया गया आपका सुझाव, राय या शिकायत. आपके सुझाव, शिकायत या राय, प्रॉम्प्ट और मॉडल के आउटपुट के साथ, एलएलएम को भेजी जाती है. यह पेज अपडेट हो जाता है आपके सही व्यवहार के साथ अलाइन होने में मदद मिलती है.

यह तरीका दो तरीकों से उपलब्ध है:

• ओपन सोर्स model-alignment Python लाइब्रेरी से आपको अपने सॉफ़्टवेयर और वर्कफ़्लो में इस तरीके को ज़रूरत के हिसाब से शामिल करें.
• Vertex AI Studio में, इस तरीके का एक वर्शन इंटिग्रेट किया गया है. इसकी मदद से, कुछ ही क्लिक में इस वर्कफ़्लो का इस्तेमाल किया जा सकता है.

ओपन सोर्स लाइब्रेरी

मॉडल अलाइनमेंट, ओपन-सोर्स Python लाइब्रेरी है. इसे PyPI पर पैकेज के तौर पर रिलीज़ किया गया है. यह एपीआई की मदद से, लोगों के सुझावों या राय के आधार पर प्रॉम्प्ट को अलाइन करने की सुविधा देता है. यह लाइब्रेरी, लोगों के सुझाव, शिकायत या राय से अपडेट करने के लिए प्रॉम्प्ट और लेबल किए गए डेटा से, डेटा की कैटगरी अपने-आप तय करने की सुविधा.

मॉडल अलाइनमेंट लाइब्रेरी की मदद से Gemma के लिए प्रॉम्प्ट टेंप्लेट चुनना

Google Colab को शुरू करना

इस लाइब्रेरी में प्रॉम्प्ट टेंप्लेट अपने-आप अपडेट करने के लिए, दो वर्कफ़्लो काम करते हैं:

1. सिद्धांतों के आधार पर बार-बार किए जाने वाले अपडेट. यह वर्कफ़्लो, आस-पास की चीज़ों को फ़िल्टर करने के लिए एलएलएम का इस्तेमाल करता है दिशा-निर्देश: मॉडल आउटपुट में बदलाव हो सकता है. आप एलएलएम पर भेजने से पहले, एक या एक से ज़्यादा दिशा-निर्देश बनाएँ, इससे प्रॉम्प्ट टेंप्लेट को अपडेट किया जाता है, ताकि वह इन दिशा-निर्देशों के मुताबिक हो. आप दिशा-निर्देश मैन्युअल तौर पर बनाने और उन्हें एलएलएम से मिले दिशा-निर्देशों के साथ शामिल करने में भी मदद मिलती है.
2. मॉडल आउटपुट की सीधी आलोचना. यह वर्कफ़्लो, मॉडल के पूरे आउटपुट के बारे में आपके सुझाव, शिकायत या राय को इकट्ठा करता है. साथ ही, इसे प्रॉम्प्ट और मॉडल के आउटपुट के साथ सीधे एलएलएम में भेजता है, ताकि अपडेट किया गया प्रॉम्प्ट टेंप्लेट जनरेट किया जा सके.

ये दोनों वर्कफ़्लो, आपके ऐप्लिकेशन के लिए काम के हो सकते हैं. ध्यान देने योग्य हालांकि, ऐसे दिशा-निर्देशों का पालन करना एक मुश्किल काम है, जो एक उपयोगी और ठोस प्रोसेस हो सकती है. एक आर्टफ़ैक्ट है, जो जानकारी देने में मदद कर सकता है. उदाहरण के लिए, पारदर्शिता है.

पहली इमेज. इस फ़्लोचार्ट में दिखाया गया है कि आपके प्रॉम्प्ट टेंप्लेट में दिशा-निर्देशों के हिसाब से या सीधे अपडेट करने के लिए, मॉडल अलाइनमेंट लाइब्रेरी के दो वर्कफ़्लो कहां और कैसे अलग-अलग होते हैं. ध्यान दें कि यह प्रोसेस बार-बार की जाने वाली प्रोसेस है. साथ ही, ये वर्कफ़्लो एक-दूसरे से अलग नहीं हैं. आपके पास इनके बीच कभी भी स्विच करने का विकल्प होता है.

Colab नोटबुक देखें, जिसमें दोनों वर्कफ़्लो का इस्तेमाल करके, Gemma 2 के लिए प्रॉम्प्ट को अलाइन करने के लिए Gemini का इस्तेमाल किया गया है.

Vertex AI Studio में अलाइनमेंट

Google के Vertex AI Studio ने "रिफ़ाइन प्रॉम्प्ट" की सुविधा, डायरेक्ट वर्कफ़्लो पर आधारित है इसके संलेखन की सराहना करने के लिए मॉडल संरेखण ओपन सोर्स लाइब्रेरी से, और तुलना करने और उसका आकलन करने में मदद करता है.

प्रॉम्प्ट दिखाने के बाद, आपके पास सुझाव, शिकायत या राय देने का विकल्प होता है कि वह मॉडल इसे अलग तरह से काम करना चाहिए. इसलिए, Vertex AI Studio ड्राफ़्ट बनाने के लिए Gemini का इस्तेमाल करता है फिर से लिखना होगा. सुझाए गए बदलावों को स्वीकार करके, अपडेट किए गए प्रॉम्प्ट को फिर से चलाया जा सकता है बस एक बटन पर क्लिक करें या अपने सुझाव, शिकायत या राय को अपडेट करें. इसके बाद, Gemini का दूसरा ड्राफ़्ट बनाने के लिए उम्मीदवार.

दूसरी इमेज. Vertex AI Studio की "प्रॉम्प्ट को बेहतर बनाएं" सुविधा का इस्तेमाल, उपयोगकर्ता के सुझाव/राय/शिकायत के आधार पर प्रॉम्प्ट को अपडेट करने के लिए किया जा रहा है.

लिंक

अपने लिए मॉडल अलाइनमेंट एक्सप्लोर करें:

• यह Colab notebook चलाएं. इसमें, अलाइनमेंट के दोनों तरीकों का इस्तेमाल करके, हमारे ओपन-वेट Gemma 2 मॉडल के लिए अलग-अलग प्रॉम्प्ट अलाइन करने के लिए, Gemini का इस्तेमाल किया गया है.
• "रिफ़ाइन प्रॉम्प्ट" आज़माएं अलाइनमेंट की सुविधा Vertex AI Studio.