GenerationConfig

{
  "stopSequences": [
    string
  ],
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}

string

Campo facoltativo. Il set di sequenze di caratteri (fino a 5) che interromperà la generazione dell'output. Se specificato, l'API si arresterà alla prima visualizzazione di una sequenza di interruzione. La sequenza di interruzioni non viene inclusa nella risposta.

integer

Campo facoltativo. Numero di risposte generate da restituire.

Attualmente, questo valore può essere impostato solo su 1. Se il criterio non viene configurato, il valore predefinito sarà 1.

integer

Campo facoltativo. Il numero massimo di token da includere in un candidato.

Nota: il valore predefinito varia in base al modello. Consulta l'attributo Model.output_token_limit del Model restituito dalla funzione getModel.

number

Campo facoltativo. Controlla la casualità dell'output.

Nota: il valore predefinito varia in base al modello. Consulta l'attributo Model.temperature del Model restituito dalla funzione getModel.

I valori possono essere compresi tra [0,0 e 2,0].

number

Campo facoltativo. La probabilità cumulativa massima di token da considerare durante il campionamento.

Il modello utilizza il campionamento combinato di Top-K e nucleo.

I token vengono ordinati in base alle probabilità assegnate, in modo da considerare solo i token più probabili. Il campionamento Top-K limita direttamente il numero massimo di token da considerare, mentre il campionamento Nucleus limita il numero di token in base alla probabilità cumulativa.

Nota: il valore predefinito varia in base al modello. Consulta l'attributo Model.top_p del Model restituito dalla funzione getModel.

integer

Campo facoltativo. Il numero massimo di token da considerare durante il campionamento.

I modelli utilizzano il campionamento del nucleo o il campionamento combinato di Top-K e nucleo. Il campionamento Top-K considera l'insieme di topK token più probabili. I modelli in esecuzione con campionamento del nucleo non consentono l'impostazione di topK.

Nota: il valore predefinito varia in base al modello. Consulta l'attributo Model.top_k del Model restituito dalla funzione getModel. Il campo topK vuoto in Model indica che il modello non applica il campionamento top-k e non consente di impostare topK sulle richieste.