Opções para configurar um LlmInference.
Classes aninhadas
| classe | LlmInference.LlmInferenceOptions.Builder | Builder para a classe LlmInference.LlmInferenceOptions. |
|
Construtores públicos
Métodos públicos
| estático LlmInference.LlmInferenceOptions.Builder |
builder()
Instancia um novo builder LlmInferenceOptions.
|
| abstrato Opcional<ErrorListener> |
errorListener()
O listener de erro a ser usado para a API
ERROR(/LlmInference#generateAsync). |
| abstrato Opcional<String> |
Função loraPath()
O caminho absoluto para o pacote de recursos do modelo LoRA armazenado localmente no dispositivo.
|
| abstrato int |
maxTokens()
O tamanho total do kv-cache.
|
| abstrato String |
modelPath()
O caminho que aponta para o arquivo de modelo do tflite.
|
| abstrato int |
randomSeed()
Semente aleatória para tokens de amostragem.
|
| abstrato Opcional<ProgressListener<String>> |
Função resultListener()
O listener de resultado a ser usado para a API
ERROR(/LlmInference#generateAsync). |
| ponto flutuante abstrato |
() temperature
Aleatoriedade ao decodificar o próximo token.
|
| abstrato int |
Função topK()
Número Top-K de tokens para amostragem para cada etapa de decodificação.
|
Métodos herdados
Construtores públicos
public LlmInferenceOptions ()
Métodos públicos
public Static LlmInference.LlmInferenceOptions.Builder builder ()
Instancia um novo builder LlmInferenceOptions.
public abstrato Opcional<ErrorListener> errorListener ()
O listener de erro a ser usado para a API ERROR(/LlmInference#generateAsync).
public Opcional<String> loraPath ()
O caminho absoluto para o pacote de recursos do modelo LoRA armazenado localmente no dispositivo. Isso só é compatível com modelos de GPU.
public int maxTokens ()
O tamanho total do kv-cache. Em outras palavras, esse é o número total de tokens de entrada + saída que o modelo precisa processar.
public abstrata int randomSeed ()
Semente aleatória para tokens de amostragem.
public Opcional<ProgressListener<String>> resultListener ()
O listener de resultado a ser usado para a API ERROR(/LlmInference#generateAsync).
public abstrato ponto flutuante temperatura ()
Aleatoriedade ao decodificar o próximo token. Um valor de 0.0f significa decodificação gananciosa.
public abstrata int topK ()
Número Top-K de tokens para amostragem para cada etapa de decodificação. O valor 1 significa decodificação gananciosa.