открытый класс LlmInference
Java-API задачи LlmInference
Вложенные классы
сорт | ЛлмИнференс.ЛлмИнференсОптионс | Варианты настройки LlmInference . |
Публичные методы
пустота | закрывать () Закрывает и очищает LlmInference . |
статический вывод LlmInference | createFromOptions (контекст контекста, параметры LlmInference.LlmInferenceOptions ) Создает задачу LlmInference. |
Нить | |
пустота | |
интервал | sizeInTokens ( строковый текст) Запускает вызов только токенизации для LLM и возвращает размер (в токенах) результата. |
Унаследованные методы
Публичные методы
public static LlmInference createFromOptions (контекст контекста, параметры LlmInference.LlmInferenceOptions )
Создает задачу LlmInference.
Параметры
контекст | |
---|---|
параметры |
публичная строка генерировать ответ ( String inputText)
Генерирует ответ на основе введенного текста.
Параметры
входной текст | String для обработки. |
---|
Броски
если вывод неверен. |
public voidgenerateResponseAsync ( String inputText)
Генерирует ответ на основе введенного текста.
Параметры
входной текст | String для обработки. |
---|
Броски
если вывод неверен. |
public int sizeInTokens ( строковый текст)
Запускает вызов только токенизации для LLM и возвращает размер (в токенах) результата. Невозможно вызвать, пока активен запросgenerResponse generateResponse(String)
. генерироватьОтвет
Параметры
текст | Текст для токенизации. |
---|
Возврат
- Количество токенов в результирующей токенизации текста.
Броски
если токенизация не удалась. |