LlmInference.LlmInferenceOptions

publiczna statyczna klasa abstrakcji LlmInference.LlmInferenceOptions

Opcje konfigurowania: LlmInference

Zagnieżdżone klasy

klasa LlmInference.LlmInferenceOptions.Builder Kreator dla: LlmInference.LlmInferenceOptions

Konstruktorzy publiczni

Metody publiczne

static LlmInference.LlmInferenceOptions.Builder
builder()
Tworzy instancję nowego kreatora LlmInferenceOptions.
abstract Optional<ErrorListener>
errorListener().
Detektor błędów używany przez interfejs ERROR(/LlmInference#generateAsync) API.
abstract Optional<Ciąg>
loraPath()
Ścieżka bezwzględna do pakietu zasobów modelu LoRA zapisanego lokalnie na urządzeniu.
abstrakcja int
maxTokens()
Całkowita długość pamięci podręcznej (kv).
abstrat Ciąg znaków
modelPath()
Ścieżka wskazująca plik modelu tflite.
abstrakcja int
randomSeed()
Losowy punkt początkowy tokenów próbkowania.
abstract Optional<ProgressListener<ciąg znaków>>
resultListener()
Detektor wyników używany przez interfejs ERROR(/LlmInference#generateAsync) API.
abstrakcyjny zmiennoprzecinkowy
temperature()
Losowość podczas dekodowania następnego tokena.
abstrakcja int
topK()
Największa liczba K tokenów, z których ma być próbkowana w każdym kroku dekodowania.

Metody dziedziczone

Konstruktorzy publiczni

public LlmInferenceOptions ()

Metody publiczne

public static LlmInference.LlmInferenceOptions.Builder builder ()

Tworzy instancję nowego kreatora LlmInferenceOptions.

public abstract Optional<ErrorListener> errorListener ()

Detektor błędów używany przez interfejs ERROR(/LlmInference#generateAsync) API.

public abstract Opcjonalny<Ciąg> loraPath ()

Ścieżka bezwzględna do pakietu zasobów modelu LoRA zapisanego lokalnie na urządzeniu. Ta funkcja jest zgodna tylko z modelami GPU.

public abstract int maxTokens ()

Całkowita długość pamięci podręcznej (kv). Innymi słowy, jest to łączna liczba tokenów wejściowych i wyjściowych, które model musi obsłużyć.

public abstrat Ciąg modelPath ()

Ścieżka wskazująca plik modelu tflite.

public abstract int randomSeed ()

Losowy punkt początkowy tokenów próbkowania.

public abstract Optional<ProgressListener<ciąg znaków>> resultListener ()

Detektor wyników używany przez interfejs ERROR(/LlmInference#generateAsync) API.

public abstrat floatt temperatura ()

Losowość podczas dekodowania następnego tokena. Wartość 0,0f oznacza dekodowanie zachłanne.

public abstract int topK ()

Największa liczba K tokenów, z których ma być próbkowana w każdym kroku dekodowania. Wartość 1 oznacza dekodowanie zachłanne.