公共静态抽象类 LlmInference.LlmInferenceOptions
用于设置 LlmInference 的选项。
嵌套类
| 类别 | LlmInference.LlmInferenceOptions.Builder | LlmInference.LlmInferenceOptions 的构建器。 |
|
公共构造函数
公共方法
| 静态 LlmInference.LlmInferenceOptions.Builder |
builder()
实例化新的 LlmInferenceOptions 构建器。
|
| abstract 可选<ErrorListener> |
errorListener()
用于
ERROR(/LlmInference#generateAsync) API 的错误监听器。 |
| abstract 可选<String> |
loraPath()
设备本地存储的 LoRA 模型资源包的绝对路径。
|
| abstract int |
maxTokens()
kv 缓存的总长度。
|
| 抽象 字符串 |
modelPath()
指向 tflite 模型文件的路径。
|
| abstract int |
randomSeed()
用于采样词元的随机种子。
|
| abstract 可选<ProgressListener<String>> |
resultListener()
用于
ERROR(/LlmInference#generateAsync) API 的结果监听器。 |
| 抽象 浮点数 |
temperature()
对下一个令牌进行解码时的随机性。
|
| abstract int |
topK()
每个解码步骤要从中采样的前 K 个令牌。
|
继承的方法
公共构造函数
public LlmInferenceOptions ()
公共方法
public abstract 可选<ErrorListener> errorListener ()
用于 ERROR(/LlmInference#generateAsync) API 的错误监听器。
public abstract int maxTokens ()
kv 缓存的总长度。换句话说，这是模型需要处理的输入 + 输出令牌的总数。
public abstract int randomSeed ()
用于采样词元的随机种子。
public abstract 可选<ProgressListener<String>> resultListener ()
用于 ERROR(/LlmInference#generateAsync) API 的结果监听器。
public abstract float temperature ()
对下一个令牌进行解码时的随机性。值为 0.0f 表示贪心解码。
public abstract int topK ()
每个解码步骤要从中采样的前 K 个令牌。值为 1 表示贪心解码。