公開靜態抽象類別 LlmInference.LlmInferenceOptions
設定 LlmInference 的選項。
巢狀類別
| 類別 | LlmInference.LlmInferenceOptions.Builder | LlmInference.LlmInferenceOptions 的建構工具。 |
|
公用建構函式
公用方法
| static LlmInference.LlmInferenceOptions.Builder |
builder()
將新的 LlmInferenceOptions 建構工具例項化。
|
| 抽象 Optional<ErrorListener> |
errorListener()
用於
ERROR(/LlmInference#generateAsync) API 的錯誤事件監聽器。 |
| 抽象 Optional<String> |
loraPath()
儲存在裝置本機的 LoRA 模型資產組合絕對路徑。
|
| 抽象 int |
maxTokens()
kv-cache 總長度。
|
| 抽象字串 |
modelPath()
指向 tflite 模型檔案的路徑。
|
| 抽象 int |
randomSeed()
用於取樣權杖的隨機種子。
|
| 抽象 Optional<ProgressListener<String>> |
resultListener()
用於
ERROR(/LlmInference#generateAsync) API 的結果事件監聽器。 |
| 抽象 浮點值 |
temperature()
解碼下一個符記時的隨機性。
|
| 抽象 int |
topK()
每個解碼步驟中取樣的前 K 個符記。
|
繼承的方法
公用建構函式
public LlmInferenceOptions ()
公用方法
public 抽象 maxTokens ()
kv-cache 總長度。換句話說，這是指模型需要處理的輸入和輸出符記總數。
public 抽象 int randomSeed ()
用於取樣權杖的隨機種子。
public 抽象 選用<ProgressListener<String>> resultListener ()
用於 ERROR(/LlmInference#generateAsync) API 的結果事件監聽器。
public 抽象浮點值 浮點值 溫度 ()
解碼下一個符記時的隨機性。如果值為 0.0f，表示貪婪解碼。
public 抽象化 int topK ()
每個解碼步驟中取樣的前 K 個符記。如果值為 1，表示惡意解碼。