GenerationConfig

用于模型生成和输出的配置选项。并非所有参数都可以为每个模型配置。

JSON 表示法
{
  "stopSequences": [
    string
  ],
  "responseMimeType": string,
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}
字段
stopSequences[]

string

可选。将停止生成输出的字符序列集(最多 5 个)。如果指定,API 将在第一次出现停止序列时停止。该停止序列不会包含在响应中。

responseMimeType

string

可选。生成的候选文本的输出响应 MIME 类型。支持的 mimetype:text/plain:(默认)文本输出。application/json:候选项中的 JSON 响应。

candidateCount

integer

可选。要返回的已生成响应数。

目前,此值只能设置为 1。如果未设置,则默认为 1。

maxOutputTokens

integer

可选。候选内容中包含的词元数量上限。

注意:默认值因模型而异,请参阅 getModel 函数返回的 ModelModel.output_token_limit 属性。

temperature

number

可选。控制输出的随机性。

注意:默认值因模型而异,请参阅 getModel 函数返回的 ModelModel.temperature 属性。

值的范围为 [0.0, 2.0]。

topP

number

可选。采样时要考虑的词元的最大累积概率。

该模型使用 Top-k 和核采样的组合。

词元根据其分配的概率进行排序,因此只考虑可能性最大的词元。Top-k 采样会直接限制要考虑的最大词元数量,而 Nucleus 采样则会根据累计概率限制词元数量。

注意:默认值因模型而异,请参阅 getModel 函数返回的 ModelModel.top_p 属性。

topK

integer

可选。采样时要考虑的词元数量上限。

模型使用核采样或合并 Top-k 和核采样。Top-k 采样考虑 topK 集合中概率最高的词元。通过核采样运行的模型不允许 TopK 设置。

注意:默认值因模型而异,请参阅 getModel 函数返回的 ModelModel.top_k 属性。Model 中的 topK 字段为空表示模型未应用 Top-k 采样,不允许对请求设置 topK