LlmInference

Classe publique LlmInference

API Java LlmInference Task

Classes imbriquées

classe LlmInference.LlmInferenceOptions Options de configuration d'un LlmInference. 

Méthodes publiques

void
close()
Ferme et nettoie LlmInference.
LlmInference statique
createFromOptions(contexte, options LlmInference.LlmInferenceOptions)
Crée une tâche LlmInference.
String
generateResponse(String inputText)
Génère une réponse basée sur le texte d'entrée.
void
generateResponseAsync(String inputText)
Génère une réponse basée sur le texte d'entrée.
int
sizeInTokens(texte de chaîne)
Exécute un appel uniquement à la tokenisation pour le LLM et renvoie la taille (en jetons) du résultat.

Méthodes héritées

Méthodes publiques

public void close ()

Ferme et nettoie LlmInference.

public statique LlmInference createFromOptions (contexte contextuel, LlmInference.LlmInferenceOptions options)

Crée une tâche LlmInference.

Paramètres
context
options

public Chaîne generateResponse (String inputText)

Génère une réponse basée sur le texte d'entrée.

Paramètres
inputText String pour le traitement.
Génère
en cas d'échec de l'inférence.

public void generateResponseAsync (String inputText)

Génère une réponse basée sur le texte d'entrée.

Paramètres
inputText String pour le traitement.
Génère
en cas d'échec de l'inférence.

public int sizeInTokens (String text)

Exécute un appel uniquement à la tokenisation pour le LLM et renvoie la taille (en jetons) du résultat. Impossible d'appeler lorsqu'une requête generateResponse(String) est active. generateResponse

Paramètres
text Texte à tokeniser.
Renvoie
  • Nombre de jetons dans la tokenisation résultante du texte.
Génère
en cas d'échec de la tokenisation.