Optionen zum Einrichten eines LlmInference-Objekts.
Verschachtelte Klassen
| Klasse | LlmInference.LlmInferenceOptions.Builder | Builder für LlmInference.LlmInferenceOptions. |
|
Public Constructors
Public Methods
| static LlmInference.LlmInferenceOptions.Builder |
builder()
Instanziiert einen neuen LlmInferenceOptions-Builder.
|
| abstrakt Optional<ErrorListener> |
errorListener()
Der für die
ERROR(/LlmInference#generateAsync) API zu verwendende Fehler-Listener. |
| abstrakt Optional<String> |
loraPath()
Der absolute Pfad zum Asset-Bundle für das LoRA-Modell, das lokal auf dem Gerät gespeichert ist.
|
| Abstrakt Int |
maxTokens()
Die Gesamtlänge des kv-Cache.
|
| Zusammenfassung String |
modelPath()
Der Pfad, der auf die TFlite-Modelldatei verweist.
|
| Abstrakt Int |
randomSeed()
Zufälliger Startwert für Stichprobentokens.
|
| abstrakt Optional<ProgressListener<String>> |
resultListener()
Der Ergebnis-Listener, der für die
ERROR(/LlmInference#generateAsync) API verwendet werden soll. |
| Abstrakte Gleitkommazahl |
temperature()
Zufälligkeit beim Decodieren des nächsten Tokens.
|
| Abstrakt Int |
topK()
Top-K-Anzahl von Tokens, aus denen für jeden Decodierungsschritt eine Stichprobe erstellt werden soll.
|
Übernommene Methoden
Public Constructors
public LlmInferenceOptions ()
Public Methods
public static LlmInference.LlmInferenceOptions.Builder builder ()
Instanziiert einen neuen LlmInferenceOptions-Builder.
public abstrakt Optional<ErrorListener> errorListener ()
Der für die ERROR(/LlmInference#generateAsync) API zu verwendende Fehler-Listener.
public abstrakt Optional<String> loraPath ()
Der absolute Pfad zum Asset-Bundle für das LoRA-Modell, das lokal auf dem Gerät gespeichert ist. Dies ist nur mit GPU-Modellen kompatibel.
public abstrakt int maxTokens ()
Die Gesamtlänge des kv-Cache. Mit anderen Worten, dies ist die Gesamtzahl der Eingabe- und Ausgabetokens, die das Modell verarbeiten muss.
public abstrakt int randomSeed ()
Zufälliger Startwert für Stichprobentokens.
public abstrakt Optional<ProgressListener<String>> resultListener ()
Der Ergebnis-Listener, der für die ERROR(/LlmInference#generateAsync) API verwendet werden soll.
öffentliches abstraktes Gleitkommazahl Temperatur ()
Zufälligkeit beim Decodieren des nächsten Tokens. Ein Wert von 0.0f bedeutet, dass die Decodierung ungeschickt ist.
public abstrakt int topK ()
Top-K-Anzahl von Tokens, aus denen für jeden Decodierungsschritt eine Stichprobe erstellt werden soll. Ein Wert von 1 bedeutet: ungefilterte Decodierung.