LlmInference.LlmInferenceOptions.Builder

公共静态抽象类 LlmInference.LlmInferenceOptions.Builder

Builder()

final LlmInference.LlmInferenceOptions	build() 验证并构建 `ERROR(/ImageGeneratorOptions)` 实例。
abstract LlmInference.LlmInferenceOptions.Builder	setErrorListener(ErrorListener 监听器) 设置要使用异步 API 调用的错误监听器。
abstract LlmInference.LlmInferenceOptions.Builder	setLoraPath(String loraPath) 设备本地存储的 LoRA 模型资源包的绝对路径。
abstract LlmInference.LlmInferenceOptions.Builder	setMaxTokens(int maxTokens) 配置输入和输出令牌的总数）。
abstract LlmInference.LlmInferenceOptions.Builder	setModelPath(String modelPath) 设置文本生成器任务的模型路径。
abstract LlmInference.LlmInferenceOptions.Builder	setRandomSeed(int randomSeed) 为采样令牌配置随机种子。
abstract LlmInference.LlmInferenceOptions.Builder	setResultListener(ProgressListener<String> 监听器) 设置使用异步 API 调用的结果监听器。
abstract LlmInference.LlmInferenceOptions.Builder	setTemperature（浮点温度）在解码下一个令牌时配置随机性。
abstract LlmInference.LlmInferenceOptions.Builder	setTopK(int topK) 配置每个解码步骤要从中采样的前 K 个令牌。

继承自 java.lang.Object 类

公共构造函数

设置要使用异步 API 调用的错误监听器。

监听器

设备本地存储的 LoRA 模型资源包的绝对路径。这仅与 GPU 模型兼容。

loraPath

配置输入和输出令牌的总数）。

maxTokens

设置文本生成器任务的模型路径。

modelPath

为采样令牌配置随机种子。

randomSeed

设置使用异步 API 调用的结果监听器。

监听器

在解码下一个令牌时配置随机性。值为 0.0f 表示贪心解码。默认值为 0.8f。

温度

配置每个解码步骤要从中采样的前 K 个令牌。值为 1 表示贪心解码。默认值为 40。

topK