LlmInference.LlmInferenceOptions

classe abstrata estática pública LlmInference.LlmInferenceOptions

Opções para configurar um LlmInference.

Classes aninhadas

classe LlmInference.LlmInferenceOptions.Builder Builder para a classe LlmInference.LlmInferenceOptions

Construtores públicos

Métodos públicos

estático LlmInference.LlmInferenceOptions.Builder
builder()
Instancia um novo builder LlmInferenceOptions.
abstrato Opcional<ErrorListener>
errorListener()
O listener de erro a ser usado para a API ERROR(/LlmInference#generateAsync).
abstrato Opcional<String>
Função loraPath()
O caminho absoluto para o pacote de recursos do modelo LoRA armazenado localmente no dispositivo.
abstrato int
maxTokens()
O tamanho total do kv-cache.
abstrato String
modelPath()
O caminho que aponta para o arquivo de modelo do tflite.
abstrato int
randomSeed()
Semente aleatória para tokens de amostragem.
abstrato Opcional<ProgressListener<String>>
Função resultListener()
O listener de resultado a ser usado para a API ERROR(/LlmInference#generateAsync).
ponto flutuante abstrato
() temperature
Aleatoriedade ao decodificar o próximo token.
abstrato int
Função topK()
Número Top-K de tokens para amostragem para cada etapa de decodificação.

Métodos herdados

Construtores públicos

public LlmInferenceOptions ()

Métodos públicos

public Static LlmInference.LlmInferenceOptions.Builder builder ()

Instancia um novo builder LlmInferenceOptions.

public abstrato Opcional<ErrorListener> errorListener ()

O listener de erro a ser usado para a API ERROR(/LlmInference#generateAsync).

public Opcional<String> loraPath ()

O caminho absoluto para o pacote de recursos do modelo LoRA armazenado localmente no dispositivo. Isso só é compatível com modelos de GPU.

public int maxTokens ()

O tamanho total do kv-cache. Em outras palavras, esse é o número total de tokens de entrada + saída que o modelo precisa processar.

public abstrato String modelPath ()

O caminho que aponta para o arquivo de modelo do tflite.

public abstrata int randomSeed ()

Semente aleatória para tokens de amostragem.

public Opcional<ProgressListener<String>> resultListener ()

O listener de resultado a ser usado para a API ERROR(/LlmInference#generateAsync).

public abstrato ponto flutuante temperatura ()

Aleatoriedade ao decodificar o próximo token. Um valor de 0.0f significa decodificação gananciosa.

public abstrata int topK ()

Número Top-K de tokens para amostragem para cada etapa de decodificação. O valor 1 significa decodificação gananciosa.