GenerationConfig

Параметры конфигурации для создания модели и выходных данных. Не все параметры можно настроить для каждой модели.

JSON-представление
{
  "stopSequences": [
    string
  ],
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "temperature": number,
  "topP": number,
  "topK": integer
}
Поля
stopSequences[]

string

Необязательный. Набор последовательностей символов (до 5), которые останавливают генерацию вывода. Если указано, API остановится при первом появлении последовательности остановки. Последовательность остановки не будет включена в ответ.

candidateCount

integer

Необязательный. Количество сгенерированных ответов для возврата.

В настоящее время для этого значения можно установить только значение 1. Если оно не установлено, по умолчанию оно будет равно 1.

maxOutputTokens

integer

Необязательный. Максимальное количество токенов, которые можно включить в кандидата.

Примечание. Значение по умолчанию зависит от модели. См. атрибут Model.output_token_limit Model , возвращаемой функцией getModel .

temperature

number

Необязательный. Управляет случайностью вывода.

Примечание. Значение по умолчанию зависит от модели. См. атрибут Model.temperature Model , возвращаемый функцией getModel .

Значения могут варьироваться от [0,0, 2,0].

topP

number

Необязательный. Максимальная совокупная вероятность токенов, которую следует учитывать при выборке.

Модель использует комбинированную выборку Top-k и ядра.

Токены сортируются на основе присвоенных им вероятностей, поэтому учитываются только наиболее вероятные токены. Выборка Top-k напрямую ограничивает максимальное количество рассматриваемых токенов, тогда как выборка Nucleus ограничивает количество токенов на основе кумулятивной вероятности.

Примечание. Значение по умолчанию зависит от модели. См. атрибут Model.top_p Model , возвращаемый функцией getModel .

topK

integer

Необязательный. Максимальное количество токенов, которые следует учитывать при выборке.

В моделях используется выборка ядер или комбинированная выборка Top-k и ядра. Выборка Top-k рассматривает набор наиболее вероятных токенов topK . Модели, работающие с выборкой ядер, не позволяют устанавливать topK.

Примечание. Значение по умолчанию зависит от модели. См. атрибут Model.top_k Model возвращаемый функцией getModel . Пустое поле topK в Model указывает на то, что модель не применяет выборку top-k и не позволяет устанавливать topK для запросов.