LlmInference

パブリック クラス LlmInference

LlmInference Task Java API

ネストされたクラス

クラス LlmInference.LlmInferenceOptions LlmInference の設定オプション。 

パブリック メソッド

void
close()
LlmInference を閉じてクリーンアップします。
静的 LlmInference
createFromOptions（コンテキスト コンテキスト、LlmInference.LlmInferenceOptions オプション）
LlmInference タスクを作成します。
文字列
generateResponse(String inputText)
入力テキストに基づいてレスポンスを生成します。
void
generateResponseAsync(String inputText)
入力テキストに基づいてレスポンスを生成します。
整数
sizeInTokens（String テキスト）
LLM のトークン化のみの呼び出しを実行し、結果のサイズ（トークン単位）を返します。

継承されるメソッド

パブリック メソッド

public void close ()

LlmInference を閉じてクリーンアップします。

public static LlmInference createFromOptions （コンテキスト コンテキスト、LlmInference.LlmInferenceOptions オプション）

LlmInference タスクを作成します。

パラメータ
コンテキスト
オプション

public String generateResponse (String inputText)

入力テキストに基づいてレスポンスを生成します。

パラメータ
inputText 処理する String。
例外
自動的にチェックします

public void generateResponseAsync (String inputText)

入力テキストに基づいてレスポンスを生成します。

パラメータ
inputText 処理する String。
例外
自動的にチェックします

public int sizeInTokens (String テキスト)

LLM のトークン化のみの呼び出しを実行し、結果のサイズ（トークン単位）を返します。generateResponse(String) クエリがアクティブな間は呼び出すことができません。generateResponse

パラメータ
指定しています トークン化するテキスト。
戻り値
  • テキストのトークン化に使用されるトークンの数。
例外
記録されます。