Options de configuration pour la génération de modèles et les sorties Il est possible que certains paramètres ne soient pas configurables pour chaque modèle.
Représentation JSON |
---|
{ "stopSequences": [ string ], "candidateCount": integer, "maxOutputTokens": integer, "temperature": number, "topP": number, "topK": integer } |
Champs | |
---|---|
stopSequences[] |
Facultatif. Ensemble de séquences de caractères (cinq maximum) qui arrêteront la génération de sortie. Si cette valeur est spécifiée, l'API s'arrête à la première apparition d'une séquence d'arrêt. La séquence d'arrêt ne sera pas incluse dans la réponse. |
candidateCount |
Facultatif. Nombre de réponses générées à renvoyer. Actuellement, cette valeur ne peut être définie que sur 1. Si cette règle n'est pas configurée, la valeur par défaut est 1. |
maxOutputTokens |
Facultatif. Nombre maximal de jetons à inclure dans un candidat. Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut |
temperature |
Facultatif. Contrôle le caractère aléatoire de la sortie. Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Les valeurs peuvent être comprises entre [0,0 et 2,0]. |
topP |
Facultatif. Probabilité cumulée maximale des jetons à prendre en compte lors de l'échantillonnage. Le modèle utilise un échantillonnage combiné de top-k et du noyau. Les jetons sont triés en fonction des probabilités qui leur sont attribuées afin que seuls les jetons les plus probables soient pris en compte. L'échantillonnage top-k limite directement le nombre maximal de jetons à prendre en compte, tandis que l'échantillonnage de Nucleus limite le nombre de jetons en fonction de la probabilité cumulée. Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut |
topK |
Facultatif. Nombre maximal de jetons à prendre en compte lors de l'échantillonnage. Les modèles utilisent l'échantillonnage du noyau ou un échantillonnage combiné des top-k et du noyau. L'échantillonnage top-k considère l'ensemble de Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut |