LlmInference

открытый класс LlmInference

Java-API задачи LlmInference

Вложенные классы

сорт ЛлмИнференс.ЛлмИнференсОптионс Варианты настройки LlmInference .

Публичные методы

пустота
закрывать ()
Закрывает и очищает LlmInference .
статический вывод LlmInference
createFromOptions (контекст контекста, параметры LlmInference.LlmInferenceOptions )
Создает задачу LlmInference.
Нить
генерироватьОтвет ( строка inputText)
Генерирует ответ на основе введенного текста.
пустота
генерироватьResponseAsync ( строка inputText)
Генерирует ответ на основе введенного текста.
интервал
sizeInTokens ( строковый текст)
Запускает вызов только токенизации для LLM и возвращает размер (в токенах) результата.

Унаследованные методы

Публичные методы

public void закрыть ()

Закрывает и очищает LlmInference .

public static LlmInference createFromOptions (контекст контекста, параметры LlmInference.LlmInferenceOptions )

Создает задачу LlmInference.

Параметры
контекст
параметры

публичная строка генерировать ответ ( String inputText)

Генерирует ответ на основе введенного текста.

Параметры
входной текст String для обработки.
Броски
если вывод неверен.

public voidgenerateResponseAsync ( String inputText)

Генерирует ответ на основе введенного текста.

Параметры
входной текст String для обработки.
Броски
если вывод неверен.

public int sizeInTokens ( строковый текст)

Запускает вызов только токенизации для LLM и возвращает размер (в токенах) результата. Невозможно вызвать, пока активен запросgenerResponse generateResponse(String) . генерироватьОтвет

Параметры
текст Текст для токенизации.
Возврат
  • Количество токенов в результирующей токенизации текста.
Броски
если токенизация не удалась.