Method: models.generateText

Генерирует ответ модели с учетом входного сообщения.

HTTP-запрос

POST https://generativelanguage.googleapis.com/v1beta/{model=models/*}:generateText

URL-адрес использует синтаксис транскодирования gRPC .

Параметры пути

Параметры
model

string

Необходимый. Имя Model или TunedModel , используемое для создания завершения. Примеры: models/text-bison-001 TunedModels/sentence-translator-u3b7m

Тело запроса

Тело запроса содержит данные следующей структуры:

JSON-представление
{
  "prompt": {
    object (TextPrompt)
  },
  "safetySettings": [
    {
      object (SafetySetting)
    }
  ],
  "stopSequences": [
    string
  ],
  "temperature": number,
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "topP": number,
  "topK": integer
}
Поля
prompt

object ( TextPrompt )

Необходимый. Входной текст в произвольной форме, передаваемый модели в виде подсказки.

При наличии подсказки модель сгенерирует ответ TextCompletion, который прогнозируется как завершение входного текста.

safetySettings[]

object ( SafetySetting )

Необязательный. Список уникальных экземпляров SafetySetting для блокировки небезопасного контента.

это будет применяться к GenerateTextRequest.prompt и GenerateTextResponse.candidates . Для каждого типа SafetyCategory не должно быть более одного параметра. API будет блокировать любые запросы и ответы, которые не соответствуют пороговым значениям, установленным этими настройками. Этот список переопределяет настройки по умолчанию для каждой SafetyCategory , указанной в параметре SafetySettings. Если в списке нет SafetySetting для данной SafetyCategory , API будет использовать параметр безопасности по умолчанию для этой категории. Категории вреда HARM_CATEGORY_DEROGATORY, HARM_CATEGORY_TOXICITY, HARM_CATEGORY_VIOLENCE, HARM_CATEGORY_SEXUAL, HARM_CATEGORY_MEDICAL, HARM_CATEGORY_DANGEROUS поддерживаются в текстовой службе.

stopSequences[]

string

Набор последовательностей символов (до 5), которые останавливают генерацию вывода. Если указано, API остановится при первом появлении последовательности остановки. Последовательность остановки не будет включена в ответ.

temperature

number

Необязательный. Управляет случайностью вывода. Примечание. Значение по умолчанию зависит от модели. См. атрибут Model.temperature Model , возвращающей функцию getModel .

Значения могут находиться в диапазоне от [0,0,1,0] включительно. Значение ближе к 1,0 приведет к более разнообразным и творческим ответам, тогда как значение ближе к 0,0 обычно приводит к более прямым ответам модели.

candidateCount

integer

Необязательный. Количество сгенерированных ответов для возврата.

Это значение должно находиться в диапазоне [1, 8] включительно. Если не установлено, по умолчанию будет 1.

maxOutputTokens

integer

Необязательный. Максимальное количество токенов, которые можно включить в кандидата.

Если значение не установлено, по умолчанию будет установлено значение outputTokenLimit, указанное в спецификации Model .

topP

number

Необязательный. Максимальная совокупная вероятность токенов, которую следует учитывать при выборке.

Модель использует комбинированную выборку Top-k и ядра.

Токены сортируются на основе присвоенных им вероятностей, поэтому учитываются только наиболее вероятные токены. Выборка Top-k напрямую ограничивает максимальное количество рассматриваемых токенов, тогда как выборка Nucleus ограничивает количество токенов на основе кумулятивной вероятности.

Примечание. Значение по умолчанию зависит от модели. См. атрибут Model.top_p Model , возвращающей функцию getModel .

topK

integer

Необязательный. Максимальное количество токенов, которые следует учитывать при выборке.

Модель использует комбинированную выборку Top-k и ядра.

Выборка Top-k рассматривает набор наиболее вероятных токенов topK . По умолчанию 40.

Примечание. Значение по умолчанию зависит от модели. См. атрибут Model.top_k Model , возвращающей функцию getModel .

Тело ответа

В случае успеха тело ответа содержит экземпляр GenerateTextResponse .

Области авторизации

Требуется одна из следующих областей OAuth:

  • https://www.googleapis.com/auth/generative-language
  • https://www.googleapis.com/auth/generative-language.tuning
  • https://www.googleapis.com/auth/generative-language.tuning.readonly
  • https://www.googleapis.com/auth/generative-language.retriever
  • https://www.googleapis.com/auth/generative-language.retriever.readonly

Для получения дополнительной информации см. Обзор аутентификации .