LlmInference

classe pública LlmInference

API LlmInference em Java de tarefas

Classes aninhadas

classe LlmInference.LlmInferenceOptions Opções para configurar um LlmInference. 

Métodos públicos

void
close()
Fecha e limpa o LlmInference.
estático LlmInference
createFromOptions(contexto de contexto, opções LlmInference.LlmInferenceOptions)
Cria uma tarefa do LlmInference.
String
generateResponse(String inputText)
Gera uma resposta com base no texto de entrada.
void
generateResponseAsync(String inputText)
Gera uma resposta com base no texto de entrada.
int
sizeInTokens(texto de string)
Executa uma invocação apenas da tokenização do LLM e retorna o tamanho (em tokens) do resultado.

Métodos herdados

Métodos públicos

public void close ()

Fecha e limpa o LlmInference.

public Static LlmInference createFromOptions (Contexto do contexto, LlmInference.LlmInferenceOptions opções)

Cria uma tarefa do LlmInference.

Parâmetros
contexto
do modelo.

public String generateResponse (String inputText)

Gera uma resposta com base no texto de entrada.

Parâmetros
inputText um String para processamento.
Gera
se a inferência falhar.

public void generateResponseAsync (String inputText)

Gera uma resposta com base no texto de entrada.

Parâmetros
inputText um String para processamento.
Gera
se a inferência falhar.

public int sizeInTokens (string texto)

Executa uma invocação apenas da tokenização do LLM e retorna o tamanho (em tokens) do resultado. Não será possível chamar enquanto uma consulta generateResponse(String) estiver ativa. generateResponse

Parâmetros
texto O texto a tokenizar.
Retorna
  • O número de tokens na tokenização resultante do texto.
Gera
se a tokenização falhar.