公共静态抽象类 LlmInference.LlmInferenceOptions.Builder
公共构造函数
|
Builder()
|
公共方法
| final LlmInference.LlmInferenceOptions |
build()
验证并构建
ERROR(/ImageGeneratorOptions) 实例。 |
| abstract LlmInference.LlmInferenceOptions.Builder | |
| abstract LlmInference.LlmInferenceOptions.Builder | |
| abstract LlmInference.LlmInferenceOptions.Builder |
setMaxTokens(int maxTokens)
配置输入和输出令牌的总数）。
|
| abstract LlmInference.LlmInferenceOptions.Builder | |
| abstract LlmInference.LlmInferenceOptions.Builder |
setRandomSeed(int randomSeed)
为采样令牌配置随机种子。
|
| abstract LlmInference.LlmInferenceOptions.Builder | |
| abstract LlmInference.LlmInferenceOptions.Builder |
setTemperature（浮点温度）
在解码下一个令牌时配置随机性。
|
| abstract LlmInference.LlmInferenceOptions.Builder |
setTopK(int topK)
配置每个解码步骤要从中采样的前 K 个令牌。
|
继承的方法
公共构造函数
public Builder ()
公共方法
public abstract LlmInference.LlmInferenceOptions.Builder setErrorListener （ErrorListener 监听器）
设置要使用异步 API 调用的错误监听器。
参数
| 监听器 |
|---|
public abstract LlmInference.LlmInferenceOptions.Builder setLoraPath (String loraPath)
设备本地存储的 LoRA 模型资源包的绝对路径。这仅与 GPU 模型兼容。
参数
| loraPath |
|---|
public abstract LlmInference.LlmInferenceOptions.Builder setMaxTokens (int maxTokens)
配置输入和输出令牌的总数）。
参数
| maxTokens |
|---|
public abstract LlmInference.LlmInferenceOptions.Builder setModelPath (String modelPath)
设置文本生成器任务的模型路径。
参数
| modelPath |
|---|
public abstract LlmInference.LlmInferenceOptions.Builder setRandomSeed (int randomSeed)
为采样令牌配置随机种子。
参数
| randomSeed |
|---|
public abstract LlmInference.LlmInferenceOptions.Builder setResultListener (ProgressListener<String> listener)
设置使用异步 API 调用的结果监听器。
参数
| 监听器 |
|---|
public abstract LlmInference.LlmInferenceOptions.Builder setTemperature （浮点温度）
在解码下一个令牌时配置随机性。值为 0.0f 表示贪心解码。默认值为 0.8f。
参数
| 温度 |
|---|
public abstract LlmInference.LlmInferenceOptions.Builder setTopK (int topK)
配置每个解码步骤要从中采样的前 K 个令牌。值为 1 表示贪心解码。默认值为 40。
参数
| topK |
|---|