GenerationConfig

Options de configuration pour la génération de modèles et les sorties Il est possible que certains paramètres ne soient pas configurables pour chaque modèle.

Représentation JSON
{
  "stopSequences": [
    string
  ],
  "responseMimeType": string,
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}
Champs
stopSequences[]

string

Facultatif. Ensemble de séquences de caractères (cinq maximum) qui arrêteront la génération de sortie. Si cette valeur est spécifiée, l'API s'arrête à la première apparition d'une séquence d'arrêt. La séquence d'arrêt ne sera pas incluse dans la réponse.

responseMimeType

string

Facultatif. Type MIME de la réponse de sortie du texte candidat généré. Type MIME compatible: text/plain (par défaut) : sortie textuelle. application/json: réponse JSON dans les candidats.

candidateCount

integer

Facultatif. Nombre de réponses générées à renvoyer.

Actuellement, cette valeur ne peut être définie que sur 1. Si cette règle n'est pas configurée, la valeur par défaut est 1.

maxOutputTokens

integer

Facultatif. Nombre maximal de jetons à inclure dans un candidat.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.output_token_limit de l'Model renvoyée par la fonction getModel.

temperature

number

Facultatif. Contrôle le caractère aléatoire de la sortie.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.temperature de l'Model renvoyée par la fonction getModel.

Les valeurs peuvent être comprises entre [0,0 et 2,0].

topP

number

Facultatif. Probabilité cumulée maximale des jetons à prendre en compte lors de l'échantillonnage.

Le modèle utilise un échantillonnage combiné de top-k et du noyau.

Les jetons sont triés en fonction des probabilités qui leur sont attribuées afin que seuls les jetons les plus probables soient pris en compte. L'échantillonnage top-k limite directement le nombre maximal de jetons à prendre en compte, tandis que l'échantillonnage de Nucleus limite le nombre de jetons en fonction de la probabilité cumulée.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.top_p de l'Model renvoyée par la fonction getModel.

topK

integer

Facultatif. Nombre maximal de jetons à prendre en compte lors de l'échantillonnage.

Les modèles utilisent l'échantillonnage du noyau ou un échantillonnage combiné des top-k et du noyau. L'échantillonnage top-k considère l'ensemble de topK jetons les plus probables. Les modèles exécutés avec l'échantillonnage du noyau n'acceptent pas le paramètre topK.

Remarque: La valeur par défaut varie selon le modèle. Consultez l'attribut Model.top_k de l'Model renvoyée par la fonction getModel. Le champ topK vide dans Model indique que le modèle n'applique pas l'échantillonnage top-k et n'autorise pas la définition de topK sur les requêtes.