Opcje konfiguracji generowania modelu i danych wyjściowych. W przypadku każdego modelu nie wszystkie parametry da się skonfigurować.
Zapis JSON |
---|
{ "stopSequences": [ string ], "candidateCount": integer, "maxOutputTokens": integer, "temperature": number, "topP": number, "topK": integer } |
Pola | |
---|---|
stopSequences[] |
Opcjonalnie. Zestaw sekwencji znaków (maksymalnie 5), które zatrzymują generowanie danych wyjściowych. Jeśli określisz parametr, interfejs API zostanie zatrzymany przy pierwszym wystąpieniu sekwencji zatrzymania. Sekwencja zatrzymania nie będzie częścią odpowiedzi. |
candidateCount |
Opcjonalnie. Liczba wygenerowanych odpowiedzi do zwrócenia. Obecnie ta wartość może wynosić tylko 1. Jeśli zasada nie jest skonfigurowana, domyślna wartość to 1. |
maxOutputTokens |
Opcjonalnie. Maksymalna liczba tokenów do uwzględnienia w kandydacie. Uwaga: wartość domyślna różni się w zależności od modelu. Zapoznaj się z atrybutem |
temperature |
Opcjonalnie. Określa losowość danych wyjściowych. Uwaga: wartość domyślna różni się w zależności od modelu. Zapoznaj się z atrybutem Wartości muszą mieścić się w zakresie od 0,0 do 2,0. |
topP |
Opcjonalnie. Maksymalne skumulowane prawdopodobieństwo, że tokeny mają być uwzględniane podczas próbkowania. Model wykorzystuje łączone próbkowanie Top-K i jądra. Tokeny są sortowane na podstawie przypisanych prawdopodobieństw, aby uwzględniane były tylko te z nich, które są najbardziej prawdopodobne. Próbkowanie Top-K bezpośrednio ogranicza maksymalną liczbę tokenów do rozważenia, a próbkowanie Nucleus ogranicza liczbę tokenów na podstawie skumulowanego prawdopodobieństwa. Uwaga: wartość domyślna różni się w zależności od modelu. Zapoznaj się z atrybutem |
topK |
Opcjonalnie. Maksymalna liczba tokenów uwzględnianych podczas próbkowania. Modele wykorzystują próbkowanie jądra lub łączone próbkowanie Top-K i próbkowanie jądra. Próbkowanie górnego K uwzględnia zbiór Uwaga: wartość domyślna różni się w zależności od modelu. Zapoznaj się z atrybutem |