Варианты настройки LlmInference .
Вложенные классы
| сорт | LlmInference.LlmInferenceOptions.Builder | Построитель для LlmInference.LlmInferenceOptions . | |
Публичные конструкторы
Публичные методы
| статический LlmInference.LlmInferenceOptions.Builder | строитель () Создает экземпляр нового построителя LlmInferenceOptions. |
| абстрактный Необязательный <ErrorListener> | слушатель ошибок () Прослушиватель ошибок, используемый для API ERROR(/LlmInference#generateAsync) . |
| абстрактное Необязательно < Строка > | лораПат () Абсолютный путь к пакету активов модели LoRA, хранящемуся локально на устройстве. |
| абстрактный интервал | макстокены () Общая длина kv-кеша. |
| абстрактная строка | МодельПуть () Путь, указывающий на файл модели tflite. |
| абстрактный интервал | случайное зерно () Случайное начальное число для выборки токенов. |
| Abstract Необязательный < ProgressListener < String >> | прослушиватель результата () Прослушиватель результатов, используемый для API ERROR(/LlmInference#generateAsync) . |
| абстрактный поплавок | температура () Случайность при декодировании следующего токена. |
| абстрактный int | топК () Число Top K токенов, из которых будет производиться выборка для каждого шага декодирования. |
Унаследованные методы
Публичные конструкторы
публичный LlmInferenceOptions ()
Публичные методы
общедоступный статический построитель LlmInference.LlmInferenceOptions.Builder ()
Создает экземпляр нового построителя LlmInferenceOptions.
публичный абстрактный необязательный < ErrorListener > errorListener ()
Прослушиватель ошибок, используемый для API ERROR(/LlmInference#generateAsync) .
общедоступная аннотация Необязательно <String> loraPath ()
Абсолютный путь к пакету активов модели LoRA, хранящемуся локально на устройстве. Это совместимо только с моделями графических процессоров.
публичный абстрактный int maxTokens ()
Общая длина kv-кеша. Другими словами, это общее количество входных и выходных токенов, которые должна обработать модель.
публичный абстрактный int randomSeed ()
Случайное начальное число для выборки токенов.
public Abstract Необязательный < ProgressListener < String >> resultListener ()
Прослушиватель результатов, используемый для API ERROR(/LlmInference#generateAsync) .
общедоступная абстрактная плавающая температура ()
Случайность при декодировании следующего токена. Значение 0,0f означает жадное декодирование.
публичный абстрактный int topK ()
Число Top K токенов, из которых будет производиться выборка для каждого шага декодирования. Значение 1 означает жадное декодирование.
Варианты настройки LlmInference .
Вложенные классы
| сорт | LlmInference.LlmInferenceOptions.Builder | Построитель для LlmInference.LlmInferenceOptions . | |
Публичные конструкторы
Публичные методы
| статический LlmInference.LlmInferenceOptions.Builder | строитель () Создает экземпляр нового построителя LlmInferenceOptions. |
| абстрактный Необязательный <ErrorListener> | слушатель ошибок () Прослушиватель ошибок, используемый для API ERROR(/LlmInference#generateAsync) . |
| абстрактное Необязательно < Строка > | лораПат () Абсолютный путь к пакету активов модели LoRA, хранящемуся локально на устройстве. |
| абстрактный интервал | макстокены () Общая длина kv-кеша. |
| абстрактная строка | МодельПуть () Путь, указывающий на файл модели tflite. |
| абстрактный int | случайное зерно () Случайное начальное число для выборки токенов. |
| Abstract Необязательный < ProgressListener < String >> | прослушиватель результата () Прослушиватель результатов, используемый для API ERROR(/LlmInference#generateAsync) . |
| абстрактный поплавок | температура () Случайность при декодировании следующего токена. |
| абстрактный int | топК () Максимальное количество токенов, из которых будет производиться выборка для каждого шага декодирования. |
Унаследованные методы
Публичные конструкторы
публичный LlmInferenceOptions ()
Публичные методы
общедоступный статический построитель LlmInference.LlmInferenceOptions.Builder ()
Создает экземпляр нового построителя LlmInferenceOptions.
общедоступный абстрактный необязательный < ErrorListener > errorListener ()
Прослушиватель ошибок, используемый для API ERROR(/LlmInference#generateAsync) .
общедоступная аннотация Необязательно <String> loraPath ()
Абсолютный путь к пакету активов модели LoRA, хранящемуся локально на устройстве. Это совместимо только с моделями графических процессоров.
публичный абстрактный int maxTokens ()
Общая длина kv-кеша. Другими словами, это общее количество входных и выходных токенов, которые должна обработать модель.
публичный абстрактный int randomSeed ()
Случайное начальное число для выборки токенов.
public Abstract Необязательный < ProgressListener < String >> resultListener ()
Прослушиватель результатов, используемый для API ERROR(/LlmInference#generateAsync) .
общедоступная абстрактная плавающая температура ()
Случайность при декодировании следующего токена. Значение 0,0f означает жадное декодирование.
публичный абстрактный int topK ()
Число Top K токенов, из которых будет производиться выборка для каждого шага декодирования. Значение 1 означает жадное декодирование.