class abstrak statis publik LlmInference.LlmInferenceOptions
Opsi untuk menyiapkan LlmInference.
Class Bertingkat
| class | LlmInference.LlmInferenceOptions.Builder | Builder untuk LlmInference.LlmInferenceOptions. |
|
Konstruktor Publik
Metode Publik
| statis LlmInference.LlmInferenceOptions.Builder |
builder()
Membuat instance builder LlmInferenceOptions baru.
|
| abstrak Opsional<ErrorListener> |
errorListener()
Pemroses error yang akan digunakan untuk
ERROR(/LlmInference#generateAsync) API. |
| abstrak Opsional<String> |
loraPath()
Jalur absolut ke paket aset model LoRA yang disimpan secara lokal di perangkat.
|
| abstrak int |
maxTokens()
Panjang total kv-cache.
|
| abstrak String |
modelPath()
Jalur yang mengarah ke file model tflite.
|
| abstrak int |
randomSeed()
Seed acak untuk token pengambilan sampel.
|
| abstract Opsional<ProgressListener<String>> |
resultListener()
Pemroses hasil yang akan digunakan untuk
ERROR(/LlmInference#generateAsync) API. |
| float abstrak |
suhu()
Keacakan saat mendekode token berikutnya.
|
| abstrak int |
topK()
Jumlah token K teratas yang akan diambil sampelnya untuk setiap langkah decoding.
|
Metode Turunan
Konstruktor Publik
publik LlmInferenceOptions ()
Metode Publik
public statis LlmInference.LlmInferenceOptions.Builder builder ()
Membuat instance builder LlmInferenceOptions baru.
public abstrak Opsional<ErrorListener> errorListener ()
Pemroses error yang akan digunakan untuk ERROR(/LlmInference#generateAsync) API.
public abstrak Opsional<String> loraPath ()
Jalur absolut ke paket aset model LoRA yang disimpan secara lokal di perangkat. Opsi ini hanya kompatibel dengan model GPU.
public abstrak int maxTokens ()
Panjang total kv-cache. Dengan kata lain, ini adalah jumlah total token input + output yang perlu ditangani model.
public abstract int randomSeed ()
Seed acak untuk token pengambilan sampel.
public abstrak Opsional<ProgressListener<String>> resultListener ()
Pemroses hasil yang akan digunakan untuk ERROR(/LlmInference#generateAsync) API.
publik abstrak float suhu ()
Keacakan saat mendekode token berikutnya. Nilai 0.0f berarti decoding serakah.
public abstrak int topK ()
Jumlah token K teratas yang akan diambil sampelnya untuk setiap langkah decoding. Nilai 1 berarti decoding yang serakah.