LlmInference

clase pública LlmInference

API de LlmInference Task Java

Categorías anidadas

clase LlmInference.LlmInferenceOptions Opciones para configurar un LlmInference. 

Métodos públicos

void
close()
Cierra y limpia el LlmInference.
estática LlmInference
createFromOptions(Contexto de contexto, opciones LlmInference.LlmInferenceOptions)
Crea una tarea de LlmInference.
String
generateResponse(String inputText)
Genera una respuesta basada en el texto de entrada.
void
generateResponseAsync(String inputText)
Genera una respuesta basada en el texto de entrada.
int
sizeInTokens(texto String)
Ejecuta una invocación de solo la asignación de token del LLM y muestra el tamaño (en tokens) del resultado.

Métodos heredados

Métodos públicos

public void close ()

Cierra y limpia el LlmInference.

estática pública LlmInference createFromOptions (contexto de contexto, opciones de LlmInference.LlmInferenceOptions)

Crea una tarea de LlmInference.

Parámetros
Contexto
Opciones

public String generateResponse (String inputText)

Genera una respuesta basada en el texto de entrada.

Parámetros
inputText un String para su procesamiento.
Arroja
si la inferencia falla.

public void generateResponseAsync (String inputText)

Genera una respuesta basada en el texto de entrada.

Parámetros
inputText un String para su procesamiento.
Arroja
si la inferencia falla.

public int sizeInTokens (String text)

Ejecuta una invocación de solo la asignación de token del LLM y muestra el tamaño (en tokens) del resultado. No se puede llamar mientras una consulta generateResponse(String) está activa. generateResponse

Parámetros
text El texto para la asignación de token.
Devuelve
  • La cantidad de tokens en la asignación de token resultante del texto.
Arroja
si la asignación de token falla.