REST Resource: models

資源:Model

生成式語言模型的相關資訊。

JSON 表示法
{
  "name": string,
  "baseModelId": string,
  "version": string,
  "displayName": string,
  "description": string,
  "inputTokenLimit": integer,
  "outputTokenLimit": integer,
  "supportedGenerationMethods": [
    string
  ],
  "temperature": number,
  "topP": number,
  "topK": integer
}
欄位
name

string

必要欄位。Model 的資源名稱。

格式:models/{model},採用 {model} 命名慣例:

  • 「{baseModelId}」- {version}

例:

  • models/chat-bison-001
baseModelId

string

必要欄位。基礎模型的名稱,請將這個名稱傳送至產生要求。

例:

  • chat-bison
version

string

必要欄位。模型的版本編號。

這代表主要版本

displayName

string

使用者可理解的模型名稱。例如「Chat 群組」。

名稱長度上限為 128 個字元,可以使用任何 UTF-8 字元。

description

string

簡短的模型說明。

inputTokenLimit

integer

這個模型允許的輸入權杖數量上限。

outputTokenLimit

integer

這個模型可用的輸出權杖數量上限。

supportedGenerationMethods[]

string

模型支援的產生方法。

方法名稱定義為 Pascal 大小寫字串,例如與 API 方法對應的 generateMessage

temperature

number

控制輸出的隨機性。

值的範圍可以超過 [0.0,1.0] (含頭尾)。接近 1.0 的值會產生較多元的回覆,而接近 0.0 的值通常會導致模型產生較不令人意外的回覆。這個值會指定在呼叫模型時,後端要使用的預設值。

topP

number

適用於核子樣本。

核子取樣會考量一組機率總和至少為 topP 的符記。這個值會指定在呼叫模型時,後端要使用的預設值。

topK

integer

適用於 Top-K 取樣。

「Top-K」取樣會考量一組可能性最高的 topK 個符記。這個值會指定在呼叫模型時,後端要使用的預設值。如果空白,代表模型不會使用「Top-K」取樣,且不允許使用 topK 做為產生參數。

方法

batchEmbedContents

以同步呼叫中的指定輸入文字,從模型產生多個嵌入。

batchEmbedText

以同步呼叫中的指定輸入文字,從模型產生多個嵌入。

countMessageTokens

對字串執行模型的權杖化工具,並傳回權杖數量。

countTextTokens

對文字執行模型的權杖化工具,並傳回符記數量。

countTokens

對輸入內容執行模型的權杖化工具,並傳回符記數量。

embedContent

依據輸入的 Content,從模型產生嵌入。

embedText

根據指定的輸入訊息,從模型產生嵌入。

generateAnswer

按輸入 GenerateAnswerRequest,從模型產生基準答案。

generateContent

以提供輸入 GenerateContentRequest 的方式從模型產生回應。

generateMessage

以提供輸入 MessagePrompt 的方式從模型產生回應。

generateText

以指定的輸入訊息從模型產生回應。

get

取得特定模型的相關資訊。

list

列出透過 API 可用的模型。

streamGenerateContent

依據輸入的 GenerateContentRequest,從模型產生串流回應。