LlmInference

public class LlmInference

LlmInference Task Java API

Verschachtelte Klassen

Klasse LlmInference.LlmInferenceOptions Optionen zum Einrichten eines LlmInference-Objekts. 

Public Methods

void
close()
Schließt und bereinigt das LlmInference.
Statisches LlmInference
createFromOptions(Context context, LlmInference.LlmInferenceOptions-Optionen)
Erstellt eine LlmInference-Aufgabe.
String
generateResponse(String inputText)
Generiert eine Antwort basierend auf dem Eingabetext.
void
generateResponseAsync(String inputText)
Generiert eine Antwort basierend auf dem Eingabetext.
int
sizeInTokens(String-Text)
Führt nur die Tokenisierung für das LLM aus und gibt die Größe des Ergebnisses (in Tokens) zurück.

Übernommene Methoden

Public Methods

public void close ()

Schließt und bereinigt das LlmInference.

public static LlmInference createFromOptions (Context context, LlmInference.LlmInferenceOptions-Optionen)

Erstellt eine LlmInference-Aufgabe.

Parameter
context
Optionen

public String generateResponse (String inputText)

Generiert eine Antwort basierend auf dem Eingabetext.

Parameter
inputText String für die Verarbeitung.
Löst aus
wenn die Inferenz fehlschlägt.

public void generateResponseAsync (String inputText)

Generiert eine Antwort basierend auf dem Eingabetext.

Parameter
inputText String für die Verarbeitung.
Löst aus
wenn die Inferenz fehlschlägt.

public int sizeInTokens (String text)

Führt nur die Tokenisierung für das LLM aus und gibt die Größe des Ergebnisses (in Tokens) zurück. Kann nicht aufgerufen werden, während eine generateResponse(String)-Abfrage aktiv ist. generateResponse

Parameter
Text Der Text, der tokenisiert werden soll.
Rückgabe
  • Die Anzahl der Tokens in der resultierenden Tokenisierung des Textes.
Löst aus
wenn die Tokenisierung fehlschlägt.