GenerationConfig

{
  "stopSequences": [
    string
  ],
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}

string

Optional. Die Gruppe von Zeichenfolgen (bis zu 5), die die Ausgabegenerierung beenden. Wenn angegeben, stoppt die API beim ersten Auftreten einer Stoppsequenz. Die Stoppsequenz wird nicht in die Antwort aufgenommen.

integer

Optional. Anzahl der generierten Antworten, die zurückgegeben werden sollen.

Derzeit kann dieser Wert nur auf 1 festgelegt werden. Wenn die Richtlinie nicht konfiguriert ist, wird standardmäßig „1“ verwendet.

integer

Optional. Die maximale Anzahl von Tokens, die in einen Kandidaten aufgenommen werden können.

Hinweis: Der Standardwert variiert je nach Modell. Weitere Informationen finden Sie im Model.output_token_limit-Attribut des Model, der von der getModel-Funktion zurückgegeben wird.

number

Optional. Steuert die Zufälligkeit der Ausgabe.

Hinweis: Der Standardwert variiert je nach Modell. Weitere Informationen finden Sie im Model.temperature-Attribut des Model, der von der getModel-Funktion zurückgegeben wird.

Die Werte können zwischen [0,0, 2,0] liegen.

number

Optional. Die maximale kumulative Wahrscheinlichkeit für Tokens, die bei der Stichprobe berücksichtigt werden sollen.

Bei diesem Modell werden Top-K- und Nucleus-Stichproben kombiniert.

Tokens werden nach ihrer zugewiesenen Wahrscheinlichkeit sortiert, sodass nur die wahrscheinlichsten Tokens berücksichtigt werden. Bei der Top-K-Stichprobe wird die maximale Anzahl der zu berücksichtigenden Tokens direkt eingeschränkt, während bei Nucleus-Stichproben die Anzahl der Tokens basierend auf der kumulativen Wahrscheinlichkeit begrenzt wird.

Hinweis: Der Standardwert variiert je nach Modell. Weitere Informationen finden Sie im Model.top_p-Attribut des Model, der von der getModel-Funktion zurückgegeben wird.

integer

Optional. Die maximale Anzahl von Tokens, die bei der Stichprobenerhebung berücksichtigt werden sollen.

Die Modelle nutzen Nucleus Sampling oder kombinierte Top-K- und Nucleus Sampling. Bei der Top-K-Stichprobe wird die Gruppe der topK wahrscheinlichsten Tokens berücksichtigt. Bei Modellen, die mit Nucleus Sampling ausgeführt werden, ist die TopK-Einstellung nicht zulässig.

Hinweis: Der Standardwert variiert je nach Modell. Weitere Informationen finden Sie im Model.top_k-Attribut des Model, der von der getModel-Funktion zurückgegeben wird. Wenn das Feld topK in Model leer ist, bedeutet das, dass das Modell keine Top-K-Stichproben anwendet und das Festlegen von topK für Anfragen nicht zulässt.