Opciones para configurar un LlmInference.
Categorías anidadas
| clase | LlmInference.LlmInferenceOptions.Builder | Compilador para LlmInference.LlmInferenceOptions. |
|
Constructores públicos
Métodos públicos
| estático LlmInference.LlmInferenceOptions.Builder |
builder()
Crea una instancia de un compilador LlmInferenceOptions nuevo.
|
| abstracto Opcional<ErrorListener> |
errorListener()
El objeto de escucha de errores que se usa para la API de
ERROR(/LlmInference#generateAsync). |
| abstracto Opcional<String> |
loraPath()
Es la ruta de acceso absoluta al paquete de recursos del modelo de LoRA almacenado de forma local en el dispositivo.
|
| resumen int |
maxTokens()
La longitud total de la caché kv.
|
| resumen String |
modelPath()
La ruta de acceso que apunta al archivo de modelo de tflite.
|
| resumen int |
randomSeed()
Valor inicial aleatorio para los tokens de muestreo.
|
| abstracto Opcional<ProgressListener<String>> |
resultListener()
El objeto de escucha de resultados que se usará para la API de
ERROR(/LlmInference#generateAsync). |
| abstract float |
temperatura()
Aleatorización cuando se decodifica el siguiente token.
|
| resumen int |
topK()
El Top K de tokens de los que se muestrear para cada paso de decodificación.
|
Métodos heredados
Constructores públicos
public LlmInferenceOptions ()
Métodos públicos
público estático LlmInference.LlmInferenceOptions.Builder builder ()
Crea una instancia de un compilador LlmInferenceOptions nuevo.
resumen público Opcional<ErrorListener> errorListener ()
El objeto de escucha de errores que se usa para la API de ERROR(/LlmInference#generateAsync).
public resumen Opcional<String> loraPath ()
Es la ruta de acceso absoluta al paquete de recursos del modelo de LoRA almacenado de forma local en el dispositivo. Solo es compatible con los modelos de GPU.
public resumen int maxTokens ()
La longitud total de la caché kv. En otras palabras, esta es la cantidad total de tokens de entrada y salida que el modelo debe controlar.
public resumen int randomSeed ()
Valor inicial aleatorio para los tokens de muestreo.
público abstracto Opcional<ProgressListener<String>> resultListener ()
El objeto de escucha de resultados que se usará para la API de ERROR(/LlmInference#generateAsync).
public resumen float temperatura ()
Aleatorización cuando se decodifica el siguiente token. Un valor de 0.0f significa una decodificación codiciosa.
public abstract int topK ()
El Top K de tokens de los que se muestrear para cada paso de decodificación. Un valor de 1 significa decodificación voraz.