LlmInference

classe pública LlmInference

API LlmInference em Java de tarefas

Classes aninhadas

classe LlmInference.LlmInferenceOptions Opções para configurar um LlmInference.

Métodos públicos

void	close() Fecha e limpa o `LlmInference`.
estático LlmInference	createFromOptions(contexto de contexto, opções LlmInference.LlmInferenceOptions) Cria uma tarefa do LlmInference.
String	generateResponse(String inputText) Gera uma resposta com base no texto de entrada.
void	generateResponseAsync(String inputText) Gera uma resposta com base no texto de entrada.
int	sizeInTokens(texto de string) Executa uma invocação apenas da tokenização do LLM e retorna o tamanho (em tokens) do resultado.

Métodos herdados

Da classe java.lang.Object

boolean	equals(Objeto arg0)
final Classe<?>	getClass()
int	hashCode()
nulo final	notify()
nulo final	notifyAll()
String	toString()
nulo final	wait(long arg0, int arg1)
nulo final	wait(long arg0)
nulo final	wait()

Da interface java.lang.AutoCloseable

abstrato nulo

close()

Métodos públicos

public void close ()

Fecha e limpa o LlmInference.

public Static LlmInference createFromOptions (Contexto do contexto, LlmInference.LlmInferenceOptions opções)

Cria uma tarefa do LlmInference.

Parâmetros

contexto
do modelo.

public String generateResponse (String inputText)

Gera uma resposta com base no texto de entrada.

Parâmetros

inputText	um `String` para processamento.

Gera

	se a inferência falhar.

public void generateResponseAsync (String inputText)

Gera uma resposta com base no texto de entrada.

Parâmetros

inputText	um `String` para processamento.

Gera

	se a inferência falhar.

public int sizeInTokens (string texto)

Executa uma invocação apenas da tokenização do LLM e retorna o tamanho (em tokens) do resultado. Não será possível chamar enquanto uma consulta generateResponse(String) estiver ativa. generateResponse

Parâmetros

texto	O texto a tokenizar.

Retorna

O número de tokens na tokenização resultante do texto.

Gera

	se a tokenização falhar.