GenerationConfig

{
  "stopSequences": [
    string
  ],
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}

string

Facultatif. Ensemble de séquences de caractères (cinq maximum) qui arrêteront la génération de sortie. Si cette valeur est spécifiée, l'API s'arrête à la première apparition d'une séquence d'arrêt. La séquence d'arrêt ne sera pas incluse dans la réponse.

integer

Facultatif. Nombre de réponses générées à renvoyer.

Actuellement, cette valeur ne peut être définie que sur 1. Si cette règle n'est pas configurée, la valeur par défaut est 1.

integer

Facultatif. Nombre maximal de jetons à inclure dans un candidat.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.output_token_limit de l'Model renvoyée par la fonction getModel.

number

Facultatif. Contrôle le caractère aléatoire de la sortie.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.temperature de l'Model renvoyée par la fonction getModel.

Les valeurs peuvent être comprises entre [0,0 et 2,0].

number

Facultatif. Probabilité cumulée maximale des jetons à prendre en compte lors de l'échantillonnage.

Le modèle utilise un échantillonnage combiné de top-k et du noyau.

Les jetons sont triés en fonction des probabilités qui leur sont attribuées afin que seuls les jetons les plus probables soient pris en compte. L'échantillonnage top-k limite directement le nombre maximal de jetons à prendre en compte, tandis que l'échantillonnage de Nucleus limite le nombre de jetons en fonction de la probabilité cumulée.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.top_p de l'Model renvoyée par la fonction getModel.

integer

Facultatif. Nombre maximal de jetons à prendre en compte lors de l'échantillonnage.

Les modèles utilisent l'échantillonnage du noyau ou un échantillonnage combiné des top-k et du noyau. L'échantillonnage top-k considère l'ensemble de topK jetons les plus probables. Les modèles exécutés avec l'échantillonnage du noyau n'acceptent pas le paramètre topK.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.top_k de l'Model renvoyée par la fonction getModel. Le champ topK vide dans Model indique que le modèle n'applique pas l'échantillonnage top-k et n'autorise pas la définition de topK sur les requêtes.