REST Resource: models

Ресурс: Модель

Информация о генеративной языковой модели.

JSON-представление
{
  "name": string,
  "baseModelId": string,
  "version": string,
  "displayName": string,
  "description": string,
  "inputTokenLimit": integer,
  "outputTokenLimit": integer,
  "supportedGenerationMethods": [
    string
  ],
  "temperature": number,
  "topP": number,
  "topK": integer
}
Поля
name

string

Необходимый. Имя ресурса Model .

Формат: models/{model} с соглашением об именовании {model} :

  • "{baseModelId}-{версия}"

Примеры:

  • models/chat-bison-001
baseModelId

string

Необходимый. Имя базовой модели, передайте его в запрос на создание.

Примеры:

  • chat-bison
version

string

Необходимый. Номер версии модели.

Это основная версия

displayName

string

Читабельное имя модели. Например, «Чат Бизон».

Имя может иметь длину до 128 символов и может состоять из любых символов UTF-8.

description

string

Краткое описание модели.

inputTokenLimit

integer

Максимальное количество входных токенов, разрешенное для этой модели.

outputTokenLimit

integer

Максимальное количество выходных жетонов, доступное для этой модели.

supportedGenerationMethods[]

string

Поддерживаемые моделью методы генерации.

Имена методов определяются как строки регистра Pascal, такие generateMessage , которые соответствуют методам API.

temperature

number

Управляет случайностью вывода.

Значения могут находиться в диапазоне от [0.0,1.0] включительно. Значение ближе к 1.0 приведет к более разнообразным ответам, тогда как значение ближе к 0.0 обычно приводит к менее неожиданным ответам модели. Это значение определяет значение по умолчанию, которое будет использоваться серверной частью при вызове модели.

topP

number

Для отбора проб ядра.

Ядерная выборка рассматривает наименьший набор токенов, сумма вероятностей которых не меньше topP . Это значение определяет значение по умолчанию, которое будет использоваться серверной частью при вызове модели.

topK

integer

Для выборки Top-k.

Выборка Top-k рассматривает набор наиболее вероятных токенов topK . Это значение определяет значение по умолчанию, которое будет использоваться серверной частью при вызове модели. Если оно пустое, это означает, что модель не использует выборку top-k, а topK не разрешен в качестве параметра генерации.

Методы

batchEmbedContents

 Создает несколько внедрений из модели с учетом входного текста в синхронном вызове.

batchEmbedText

 Создает несколько внедрений из модели с учетом входного текста в синхронном вызове.

countMessageTokens

 Запускает токенизатор модели для строки и возвращает количество токенов.

countTextTokens

 Запускает токенизатор модели для текста и возвращает количество токенов.

countTokens

 Запускает токенизатор модели для входного содержимого и возвращает количество токенов.

embedContent

 Генерирует внедрение из модели с учетом входного Content .

embedText

 Генерирует внедрение из модели с учетом входного сообщения.

generateAnswer

 Генерирует обоснованный ответ на основе модели с учетом входных данных GenerateAnswerRequest .

generateContent

 Генерирует ответ модели с учетом входных данных GenerateContentRequest .

generateMessage

 Генерирует ответ модели с учетом входного MessagePrompt .

generateText

 Генерирует ответ модели с учетом входного сообщения.

get

 Получает информацию о конкретной модели.

list

 Перечисляет модели, доступные через API.

streamGenerateContent

 Генерирует потоковый ответ из модели с учетом входных данных GenerateContentRequest .