Options de configuration d'un LlmInference.
Classes imbriquées
| classe | LlmInference.LlmInferenceOptions.Builder | Compilateur pour LlmInference.LlmInferenceOptions. |
|
Constructeurs publics
Méthodes publiques
| statique LlmInference.LlmInferenceOptions.Builder |
builder()
Instancie un nouveau compilateur LlmInferenceOptions.
|
| abstrait Facultatif<ErrorListener> |
errorListener()
Écouteur d'erreurs à utiliser pour l'API
ERROR(/LlmInference#generateAsync). |
| abstrait Facultatif<Chaîne> |
loraPath()
Chemin absolu vers le bundle d'assets du modèle LoRA stocké localement sur l'appareil.
|
| abstrait entier |
maxTokens()
Longueur totale de kv-cache.
|
| abstrait Chaîne |
modelPath()
Chemin d'accès qui pointe vers le fichier de modèle tflite.
|
| abstrait entier |
randomSeed()
Valeur de départ aléatoire pour l'échantillonnage des jetons.
|
| abstrait Facultatif<ProgressListener<String>> |
resultListener()
Écouteur de résultats à utiliser pour l'API
ERROR(/LlmInference#generateAsync). |
| abstrait flottant |
temperature()
Aléatoire lors du décodage du jeton suivant.
|
| abstrait entier |
topK()
Nombre top-K de jetons à échantillonner pour chaque étape de décodage.
|
Méthodes héritées
Constructeurs publics
public LlmInferenceOptions ()
Méthodes publiques
public statique LlmInference.LlmInferenceOptions.Builder builder ()
Instancie un nouveau compilateur LlmInferenceOptions.
public abstract Facultatif<ErrorListener> errorListener ()
Écouteur d'erreurs à utiliser pour l'API ERROR(/LlmInference#generateAsync).
public abstrait Facultatif<String> loraPath ()
Chemin absolu vers le bundle d'assets du modèle LoRA stocké localement sur l'appareil. Elle n'est compatible qu'avec les modèles de GPU.
public abstrait int maxTokens ()
Longueur totale de kv-cache. En d'autres termes, il s'agit du nombre total de jetons d'entrée et de sortie que le modèle doit gérer.
public abstract int randomSeed ()
Valeur de départ aléatoire pour l'échantillonnage des jetons.
public abstrait Facultatif<ProgressListener<String>> resultListener ()
Écouteur de résultats à utiliser pour l'API ERROR(/LlmInference#generateAsync).
public abstrait float température ()
Aléatoire lors du décodage du jeton suivant. Une valeur de 0,0f signifie un décodage gourmand.
public abstrait int topK ()
Nombre top-K de jetons à échantillonner pour chaque étape de décodage. La valeur 1 indique un décodage gourmand.