Opzioni per configurare un LlmInference.
Corsi nidificati
| classe | LlmInference.LlmInferenceOptions.Builder | Costruttore per LlmInference.LlmInferenceOptions. |
|
Costruttori pubblici
Metodi pubblici
| statico LlmInference.LlmInferenceOptions.Builder |
builder()
Crea un'istanza per il nuovo builder LlmInferenceOptions.
|
| astratto Facoltativo<ErrorListener> |
errorListener()
Il listener di errori da utilizzare per l'API
ERROR(/LlmInference#generateAsync). |
| astratto Facoltativo<Stringa> |
loraPath()
Il percorso assoluto al bundle di asset del modello LoRA memorizzato localmente sul dispositivo.
|
| astratto int |
maxTokens()
La lunghezza totale della kv-cache.
|
| astratto Stringa |
modelPath()
Il percorso che rimanda al file del modello tflite.
|
| astratto int |
randomSeed()
Numero casuale per i token di campionamento.
|
| astratto Facoltativo<ProgressListener<Stringa>> |
resultListener()
Il listener dei risultati da utilizzare per l'API
ERROR(/LlmInference#generateAsync). |
| astratto float |
temperature()
Casualità durante la decodifica del token successivo.
|
| astratto int |
topK()
Numero top-K di token da campionare per ogni passaggio di decodifica.
|
Metodi ereditati
Costruttori pubblici
pubblica LlmInferenceOptions ()
Metodi pubblici
pubblico static LlmInference.LlmInferenceOptions.Builder builder ()
Crea un'istanza per il nuovo builder LlmInferenceOptions.
pubblici astratto Facoltativo<ErrorListener> errorListener ()
Il listener di errori da utilizzare per l'API ERROR(/LlmInference#generateAsync).
pubblici astratto Facoltativo<String> loraPath ()
Il percorso assoluto al bundle di asset del modello LoRA memorizzato localmente sul dispositivo. È compatibile solo con i modelli GPU.
pubblici astratto int maxTokens ()
La lunghezza totale della kv-cache. In altre parole, si tratta del numero totale di token di input e di output che il modello deve gestire.
Public astratto int randomSeed ()
Numero casuale per i token di campionamento.
Public astratto Facoltativo<ProgressListener<String>> resultListener ()
Il listener dei risultati da utilizzare per l'API ERROR(/LlmInference#generateAsync).
pubblico astratto float temperatura ()
Casualità durante la decodifica del token successivo. Un valore pari a 0,0f indica una decodifica greedy.
pubblici astratto int topK ()
Numero top-K di token da campionare per ogni passaggio di decodifica. Il valore 1 indica una decodifica greedy.