मॉडल जनरेट करने और आउटपुट के लिए कॉन्फ़िगरेशन के विकल्प. यह हो सकता है कि सभी पैरामीटर हर मॉडल के लिए कॉन्फ़िगर न किए जा सकें.
जेएसओएन के काेड में दिखाना |
---|
{ "stopSequences": [ string ], "candidateCount": integer, "maxOutputTokens": integer, "temperature": number, "topP": number, "topK": integer } |
फ़ील्ड | |
---|---|
stopSequences[] |
ज़रूरी नहीं. वर्ण क्रमों का सेट (ज़्यादा से ज़्यादा पांच) जो आउटपुट बनाना बंद कर देगा. अगर तय किया गया है, तो एपीआई स्टॉप सीक्वेंस के पहली बार दिखने पर बंद हो जाएगा. जवाब में, स्टॉप सीक्वेंस को शामिल नहीं किया जाएगा. |
candidateCount |
ज़रूरी नहीं. दिए जाने वाले जवाबों के लिए जनरेट किए गए जवाबों की संख्या. फ़िलहाल, यह वैल्यू सिर्फ़ एक पर सेट की जा सकती है. अगर इसे सेट नहीं किया जाता है, तो यह डिफ़ॉल्ट रूप से 1 पर सेट होगी. |
maxOutputTokens |
ज़रूरी नहीं. किसी कैंडिडेट में शामिल किए जाने वाले टोकन की ज़्यादा से ज़्यादा संख्या. ध्यान दें: मॉडल के हिसाब से डिफ़ॉल्ट वैल्यू अलग-अलग होती है. |
temperature |
ज़रूरी नहीं. आउटपुट की रैंडमनेस को कंट्रोल करता है. ध्यान दें: मॉडल के हिसाब से डिफ़ॉल्ट वैल्यू अलग-अलग होती है. वैल्यू [0.0, 2.0] तक की हो सकती हैं. |
topP |
ज़रूरी नहीं. सैंपलिंग करते समय, टोकन की ज़्यादा से ज़्यादा कुल संभावना, जिसे शामिल किया जाना चाहिए. यह मॉडल टॉप-के और न्यूक्लियस सैंपलिंग का इस्तेमाल करता है. टोकन को उनकी असाइन की गई प्रॉबबिलिटी के आधार पर क्रम से लगाया जाता है, ताकि सबसे ज़्यादा संभावना वाले टोकन पर विचार किया जा सके. टॉप-k सैंपलिंग, विचार करने के लिए ज़्यादा से ज़्यादा टोकन की संख्या को सीधे तौर पर सीमित करती है, जबकि न्यूक्लियस सैंपलिंग, कुल संभावना के आधार पर टोकन की संख्या को सीमित करती है. ध्यान दें: मॉडल के हिसाब से डिफ़ॉल्ट वैल्यू अलग-अलग होती है. |
topK |
ज़रूरी नहीं. सैंपल लेने के दौरान, ज़्यादा से ज़्यादा कितने टोकन का इस्तेमाल किया जाना चाहिए. मॉडल, न्यूक्लियस सैंपलिंग या टॉप-के और न्यूक्लियस सैंपलिंग का इस्तेमाल करते हैं. टॉप-k सैंपलिंग, ध्यान दें: मॉडल के हिसाब से डिफ़ॉल्ट वैल्यू अलग-अलग होती है. |