Opções para configurar um LlmInference
.
Classes aninhadas
classe | LlmInference.LlmInferenceOptions.Builder | Builder para a classe LlmInference.LlmInferenceOptions . |
Construtores públicos
Métodos públicos
estático LlmInference.LlmInferenceOptions.Builder |
builder()
Instancia um novo builder LlmInferenceOptions.
|
abstrato Opcional<ErrorListener> |
errorListener()
O listener de erro a ser usado para a API
ERROR(/LlmInference#generateAsync) . |
abstrato Opcional<String> |
Função loraPath()
O caminho absoluto para o pacote de recursos do modelo LoRA armazenado localmente no dispositivo.
|
abstrato int |
maxTokens()
O tamanho total do kv-cache.
|
abstrato String |
modelPath()
O caminho que aponta para o arquivo de modelo do tflite.
|
abstrato int |
randomSeed()
Semente aleatória para tokens de amostragem.
|
abstrato Opcional<ProgressListener<String>> |
Função resultListener()
O listener de resultado a ser usado para a API
ERROR(/LlmInference#generateAsync) . |
ponto flutuante abstrato |
() temperature
Aleatoriedade ao decodificar o próximo token.
|
abstrato int |
Função topK()
Número Top-K de tokens para amostragem para cada etapa de decodificação.
|
Métodos herdados
Construtores públicos
public LlmInferenceOptions ()
Métodos públicos
public Static LlmInference.LlmInferenceOptions.Builder builder ()
Instancia um novo builder LlmInferenceOptions.
public abstrato Opcional<ErrorListener> errorListener ()
O listener de erro a ser usado para a API ERROR(/LlmInference#generateAsync)
.
public Opcional<String> loraPath ()
O caminho absoluto para o pacote de recursos do modelo LoRA armazenado localmente no dispositivo. Isso só é compatível com modelos de GPU.
public int maxTokens ()
O tamanho total do kv-cache. Em outras palavras, esse é o número total de tokens de entrada + saída que o modelo precisa processar.
public abstrata int randomSeed ()
Semente aleatória para tokens de amostragem.
public Opcional<ProgressListener<String>> resultListener ()
O listener de resultado a ser usado para a API ERROR(/LlmInference#generateAsync)
.
public abstrato ponto flutuante temperatura ()
Aleatoriedade ao decodificar o próximo token. Um valor de 0.0f significa decodificação gananciosa.
public abstrata int topK ()
Número Top-K de tokens para amostragem para cada etapa de decodificação. O valor 1 significa decodificação gananciosa.