LlmInference

公共类 LlmInference

LlmInference 任务 Java API

嵌套类

类别 LlmInference.LlmInferenceOptions 用于设置 LlmInference 的选项。 

公共方法

void
close()
关闭并清理 LlmInference。
静态 LlmInference
createFromOptions(Context context, LlmInference.LlmInferenceOptions 选项)
创建一个 LlmInference 任务。
字符串
generateResponse(String inputText)
根据输入文本生成回答。
void
generateResponseAsync(String inputText)
根据输入文本生成回答。
整型
sizeInTokens（字符串文本）
针对 LLM 运行仅进行标记化处理的调用，并返回结果的大小（以词元为单位）。

继承的方法

公共方法

public void close ()

关闭并清理 LlmInference。

public static LlmInference createFromOptions （上下文上下文，LlmInference.LlmInferenceOptions 选项）

创建一个 LlmInference 任务。

参数
context
选项

public String generateResponse (String inputText)

根据输入文本生成回答。

参数
inputText String 进行处理。
抛出
如果推断失败，则会发生该错误。

public void generateResponseAsync (String inputText)

根据输入文本生成回答。

参数
inputText String 进行处理。
抛出
如果推断失败，则会发生该错误。

public int sizeInTokens （String 文本）

针对 LLM 运行仅进行标记化处理的调用，并返回结果的大小（以词元为单位）。当 generateResponse(String) 查询处于活动状态时无法调用。generateResponse

参数
text 要标记化的文本。
返回
  • 生成的文本词元化处理中的词元数量。
抛出
如果标记化失败，则会发生该错误。