LlmInference.LlmInferenceOptions.Builder

公開靜態抽象類別 LlmInference.LlmInferenceOptions.Builder

公用建構函式

公用方法

最終 LlmInference.LlmInferenceOptions
build()
驗證並建構 ERROR(/ImageGeneratorOptions) 執行個體。
抽象 LlmInference.LlmInferenceOptions.Builder
setErrorListener(ErrorListener 事件監聽器)
設定錯誤監聽器以與非同步 API 叫用。
抽象 LlmInference.LlmInferenceOptions.Builder
setLoraPath(String loraPath)
儲存在裝置本機的 LoRA 模型資產組合絕對路徑。
抽象 LlmInference.LlmInferenceOptions.Builder
setMaxTokens(int maxTokens)
設定輸入和輸出的符記總數)。
抽象 LlmInference.LlmInferenceOptions.Builder
setModelPath(String modelPath)
設定文字產生器工作的模型路徑。
抽象 LlmInference.LlmInferenceOptions.Builder
setRandomSeed(int randomSeed)
設定符記取樣的隨機種子。
抽象 LlmInference.LlmInferenceOptions.Builder
setResultListener(ProgressListener<String> 事件監聽器)
設定要透過非同步 API 叫用的結果事件監聽器。
抽象 LlmInference.LlmInferenceOptions.Builder
setTemperature(浮點溫度)
會在解碼下一個符記時設定隨機性。
抽象 LlmInference.LlmInferenceOptions.Builder
setTopK(int topK)
設定每個解碼步驟要取樣的前 K 個符記。

繼承的方法

公用建構函式

public Builder ()

公用方法

public 最終 LlmInference.LlmInferenceOptions build ()

驗證並建構 ERROR(/ImageGeneratorOptions) 執行個體。

public 抽象 LlmInference.LlmInferenceOptions.Builder setErrorListener (ErrorListener 事件監聽器)

設定錯誤監聽器以與非同步 API 叫用。

參數
事件監聽器

public 抽象化 LlmInference.LlmInferenceOptions.Builder setLoraPath (String loraPath)

儲存在裝置本機的 LoRA 模型資產組合絕對路徑。僅與 GPU 型號相容。

參數
loraPath

public 抽象 LlmInference.LlmInferenceOptions.Builder setMaxTokens (int maxTokens)

設定輸入和輸出的符記總數)。

參數
maxTokens

public 抽象化 LlmInference.LlmInferenceOptions.Builder setModelPath (String modelPath)

設定文字產生器工作的模型路徑。

參數
modelPath

public 抽象化 LlmInference.LlmInferenceOptions.Builder setRandomSeed (int randomSeed)

設定符記取樣的隨機種子。

參數
randomSeed

public 抽象 LlmInference.LlmInferenceOptions.Builder setResultListener (ProgressListener<String> 事件監聽器)

設定要透過非同步 API 叫用的結果事件監聽器。

參數
事件監聽器

public 抽象 LlmInference.LlmInferenceOptions.Builder setTemperature (浮點溫度)

會在解碼下一個符記時設定隨機性。如果值為 0.0f,表示貪婪解碼。 預設值為 0.8f。

參數
溫度

public 抽象化 LlmInference.LlmInferenceOptions.Builder setTopK (int topK)

設定每個解碼步驟要取樣的前 K 個符記。如果值為 1,表示惡意解碼。預設值為 40。

參數
topK