Gemma के निर्देशों के हिसाब से ट्यून किए गए (आईटी) मॉडल को एक खास फ़ॉर्मैटर के साथ ट्रेन किया जाता है. यह फ़ॉर्मैटर, ट्रेनिंग और अनुमान लगाने के समय, निर्देशों के ट्यून किए गए सभी उदाहरणों को ज़्यादा जानकारी के साथ एनोटेट करता है. फ़ॉर्मैटर का इस्तेमाल दो कामों के लिए किया जाता है:
- बातचीत में भूमिकाओं को दिखाना, जैसे कि सिस्टम, उपयोगकर्ता या असिस्टेंट की भूमिकाएं.
- बातचीत में हिस्सा लेने वाले लोगों के बोलने के क्रम को तय करना. खास तौर पर, कई लोगों के साथ होने वाली बातचीत में.
यहां हम Gemma के इस्तेमाल किए जाने वाले कंट्रोल टोकन और उनके इस्तेमाल के उदाहरणों के बारे में बता रहे हैं. ध्यान दें कि कंट्रोल टोकन, हमारे टोकनेटर के लिए खास तौर पर रिज़र्व किए गए हैं.
- उपयोगकर्ता के नतीजे दिखाने के लिए टोकन:
user - मॉडल टर्न को दिखाने के लिए टोकन:
model - डायलॉग टर्न की शुरुआत का पता लगाने के लिए टोकन:
<start_of_turn> - डायलॉग टर्न के खत्म होने का पता लगाने वाला टोकन:
<end_of_turn>
यहां बातचीत का एक उदाहरण दिया गया है:
<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
Gemma<end_of_turn>
<start_of_turn>model
Gemma who?<end_of_turn>
टोकन "<end_of_turn>\n", टर्न सेपरेटर है और प्रॉम्प्ट प्रीफ़िक्स "<start_of_turn>model\n" है. इसका मतलब है कि अगर आपको मॉडल से "क्रैमर का नियम क्या है?" जैसा सवाल पूछना है, तो आपको मॉडल को इस तरह फ़ीड करना चाहिए:
"<start_of_turn>user
What is Cramer's Rule?<end_of_turn>
<start_of_turn>model"
ध्यान दें कि अगर आपको पहले से ट्रेन किए गए Gemma मॉडल को अपने डेटा के साथ फ़ाइन-ट्यून करना है, तो कंट्रोल टोकन के लिए किसी भी स्कीमा का इस्तेमाल किया जा सकता है. हालांकि, यह ज़रूरी है कि यह स्कीमा, ट्रेनिंग और अनुमान लगाने के उदाहरणों के बीच एक जैसा हो.
सिस्टम से जुड़े निर्देश
निर्देशों के हिसाब से बनाए गए Gemma के मॉडल, सिर्फ़ दो भूमिकाओं के साथ काम करने के लिए डिज़ाइन किए गए हैं:
user और model. इसलिए, system भूमिका या सिस्टम टर्न का इस्तेमाल नहीं किया जा सकता.
अलग सिस्टम भूमिका का इस्तेमाल करने के बजाय, उपयोगकर्ता के लिए दिए गए शुरुआती प्रॉम्प्ट में ही सिस्टम-लेवल के निर्देश दें. निर्देशों का पालन करने की मॉडल की सुविधाओं की मदद से, Gemma निर्देशों को असरदार तरीके से समझ पाती है. उदाहरण के लिए:
<start_of_turn>user
Only reply like a pirate.
What is the answer to life the universe and everything?<end_of_turn>
<start_of_turn>model
Arrr, 'tis 42,<end_of_turn>