Opcje konfigurowania: LlmInference
Zagnieżdżone klasy
| klasa | LlmInference.LlmInferenceOptions.Builder | Kreator dla: LlmInference.LlmInferenceOptions. |
|
Konstruktorzy publiczni
Metody publiczne
| static LlmInference.LlmInferenceOptions.Builder |
builder()
Tworzy instancję nowego kreatora LlmInferenceOptions.
|
| abstract Optional<ErrorListener> |
errorListener().
Detektor błędów używany przez interfejs
ERROR(/LlmInference#generateAsync) API. |
| abstract Optional<Ciąg> |
loraPath()
Ścieżka bezwzględna do pakietu zasobów modelu LoRA zapisanego lokalnie na urządzeniu.
|
| abstrakcja int |
maxTokens()
Całkowita długość pamięci podręcznej (kv).
|
| abstrat Ciąg znaków |
modelPath()
Ścieżka wskazująca plik modelu tflite.
|
| abstrakcja int |
randomSeed()
Losowy punkt początkowy tokenów próbkowania.
|
| abstract Optional<ProgressListener<ciąg znaków>> |
resultListener()
Detektor wyników używany przez interfejs
ERROR(/LlmInference#generateAsync) API. |
| abstrakcyjny zmiennoprzecinkowy |
temperature()
Losowość podczas dekodowania następnego tokena.
|
| abstrakcja int |
topK()
Największa liczba K tokenów, z których ma być próbkowana w każdym kroku dekodowania.
|
Metody dziedziczone
Konstruktorzy publiczni
public LlmInferenceOptions ()
Metody publiczne
public static LlmInference.LlmInferenceOptions.Builder builder ()
Tworzy instancję nowego kreatora LlmInferenceOptions.
public abstract Optional<ErrorListener> errorListener ()
Detektor błędów używany przez interfejs ERROR(/LlmInference#generateAsync) API.
public abstract Opcjonalny<Ciąg> loraPath ()
Ścieżka bezwzględna do pakietu zasobów modelu LoRA zapisanego lokalnie na urządzeniu. Ta funkcja jest zgodna tylko z modelami GPU.
public abstract int maxTokens ()
Całkowita długość pamięci podręcznej (kv). Innymi słowy, jest to łączna liczba tokenów wejściowych i wyjściowych, które model musi obsłużyć.
public abstract int randomSeed ()
Losowy punkt początkowy tokenów próbkowania.
public abstract Optional<ProgressListener<ciąg znaków>> resultListener ()
Detektor wyników używany przez interfejs ERROR(/LlmInference#generateAsync) API.
public abstrat floatt temperatura ()
Losowość podczas dekodowania następnego tokena. Wartość 0,0f oznacza dekodowanie zachłanne.
public abstract int topK ()
Największa liczba K tokenów, z których ma być próbkowana w każdym kroku dekodowania. Wartość 1 oznacza dekodowanie zachłanne.