Method: models.generateText

Gera uma resposta do modelo com base em uma mensagem de entrada.

Solicitação HTTP

POST https://generativelanguage.googleapis.com/v1beta/{model=models/*}:generateText

O URL usa a sintaxe de transcodificação gRPC.

Parâmetros de caminho

Parâmetros
model

string

Obrigatório. O nome do Model ou TunedModel a ser usado para gerar a conclusão. Exemplos: model/text-bison-001fina Models/sentence-translator-u3b7m

Corpo da solicitação

O corpo da solicitação contém dados com a seguinte estrutura:

Representação JSON
{
  "prompt": {
    object (TextPrompt)
  },
  "safetySettings": [
    {
      object (SafetySetting)
    }
  ],
  "stopSequences": [
    string
  ],
  "temperature": number,
  "candidateCount": integer,
  "maxOutputTokens": integer,
  "topP": number,
  "topK": integer
}
Campos
prompt

object (TextPrompt)

Obrigatório. O texto de entrada de formato livre fornecido ao modelo como um comando.

Com um comando, o modelo gera uma resposta de TextConclusão que prevê a conclusão do texto de entrada.

safetySettings[]

object (SafetySetting)

Opcional. Uma lista de instâncias de SafetySetting exclusivas para bloquear conteúdo não seguro.

que será aplicado em GenerateTextRequest.prompt e GenerateTextResponse.candidates. Não pode haver mais de uma configuração para cada tipo de SafetyCategory. A API vai bloquear todos os comandos e respostas que não atenderem aos limites definidos por essas configurações. Essa lista substitui as configurações padrão para cada SafetyCategory especificado nas safetySettings. Se não houver uma SafetySetting para uma determinada SafetyCategory fornecida na lista, a API vai usar a configuração de segurança padrão para essa categoria. As categorias de danos HARM_CATEGORY_DEROGATORY, HARM_CATEGORY_TOXICITY, HARM_CATEGORY_VIOLENCE, HARM_CATEGORY_SEXUAL, HARM_CATEGORY_MEDical e HARM_CATEGORY_DANGEROUS são compatíveis com serviços de texto.

stopSequences[]

string

O conjunto de sequências de caracteres (até 5) que interromperão a geração de saída. Se especificado, a API será interrompida na primeira ocorrência de uma sequência de parada. A sequência de parada não será incluída como parte da resposta.

temperature

number

Opcional. Controla a aleatoriedade da saída. Observação: o valor padrão varia de acordo com o modelo. Consulte o atributo Model.temperature de Model que retornou a função getModel.

Os valores podem variar de [0.0,1.0]. Um valor próximo de 1,0 produz respostas mais variadas e criativas, enquanto um valor próximo de 0,0 normalmente resulta em respostas mais diretas do modelo.

candidateCount

integer

Opcional. Número de respostas geradas para retornar.

Esse valor precisa estar entre [1, 8]. Se não for definido, o padrão será 1.

maxOutputTokens

integer

Opcional. O número máximo de tokens a serem incluídos em um candidato.

Se não for definido, o padrão será outputTokenLimit definido na especificação Model.

topP

number

Opcional. A probabilidade cumulativa máxima de tokens a serem considerados na amostragem.

O modelo usa amostragem combinada de Top-k e de núcleos.

Os tokens são classificados com base nas probabilidades atribuídas, de modo que somente aqueles mais prováveis são considerados. A amostragem top-k limita diretamente o número máximo de tokens a serem considerados, enquanto a amostragem Nucleus limita o número de tokens com base na probabilidade cumulativa.

Observação: o valor padrão varia de acordo com o modelo. Consulte o atributo Model.top_p de Model que retornou a função getModel.

topK

integer

Opcional. O número máximo de tokens a serem considerados durante a amostragem.

O modelo usa amostragem combinada de Top-k e de núcleos.

A amostragem top-k considera o conjunto de topK tokens mais prováveis. O padrão é 40.

Observação: o valor padrão varia de acordo com o modelo. Consulte o atributo Model.top_k de Model que retornou a função getModel.

Corpo da resposta

Se a solicitação for bem-sucedida, o corpo da resposta conterá uma instância de GenerateTextResponse.

Escopos de autorização

Requer um dos seguintes escopos de OAuth:

  • https://www.googleapis.com/auth/generative-language
  • https://www.googleapis.com/auth/generative-language.tuning
  • https://www.googleapis.com/auth/generative-language.tuning.readonly
  • https://www.googleapis.com/auth/generative-language.retriever
  • https://www.googleapis.com/auth/generative-language.retriever.readonly

Para saber mais, consulte a Visão geral da autenticação.