genel statik soyut sınıf
LlmInference.LlmInferenceOptions
LlmInference ayarlama seçenekleri.
İç İçe Sınıflar
| sınıf | LlmInference.LlmInferenceOptions.Builder | LlmInference.LlmInferenceOptions için derleyici. |
|
İnşaatçılar
Herkese Açık Yöntemler
| static LlmInference.LlmInferenceOptions.Builder |
builder()
Yeni bir LlmInferenceOptions derleyiciyi somutlaştırır.
|
| abstract İsteğe bağlı<ErrorListener> |
errorListener()
ERROR(/LlmInference#generateAsync) API için kullanılacak hata işleyici. |
| abstract İsteğe bağlı<String> |
loraPath()
Cihazda yerel olarak depolanan LoRA modeli öğe paketinin mutlak yolu.
|
| soyut int |
maxTokens()
kv önbelleğinin toplam uzunluğu.
|
| abstract Dize |
modelPath()
tflite model dosyasına işaret eden yol.
|
| soyut int |
randomSeed()
Örnekleme jetonları için rastgele başlangıç noktası.
|
| abstract İsteğe bağlı<ProgressListener<String>> |
resultListener()
ERROR(/LlmInference#generateAsync) API için kullanılacak sonuç işleyici. |
| soyut kayan |
temperature()
Sonraki jetonun kodunu çözerken gösterilen rastgelelik.
|
| soyut int |
topK()
Her kod çözme adımı için örneklenecek ilk K jeton sayısı.
|
Devralınan Yöntemler
İnşaatçılar
herkese açık LlmInferenceOptions ()
Herkese Açık Yöntemler
herkese açık statik LlmInference.LlmInferenceOptions.Builder builder ()
Yeni bir LlmInferenceOptions derleyiciyi somutlaştırır.
public abstract İsteğe bağlı<ErrorListener> errorListener ()
ERROR(/LlmInference#generateAsync) API için kullanılacak hata işleyici.
public abstract İsteğe bağlı<String> loraPath ()
Cihazda yerel olarak depolanan LoRA modeli öğe paketinin mutlak yolu. Bu özellik, yalnızca GPU modelleriyle uyumludur.
herkese açık soyut int maxTokens ()
kv önbelleğinin toplam uzunluğu. Başka bir deyişle, modelin işlemesi gereken toplam giriş + çıkış jetonu sayısıdır.
herkese açık soyut int randomSeed ()
Örnekleme jetonları için rastgele başlangıç noktası.
public abstract İsteğe bağlı<ProgressListener<String>> resultListener ()
ERROR(/LlmInference#generateAsync) API için kullanılacak sonuç işleyici.
herkese açık soyut kayan nokta sıcaklık ()
Sonraki jetonun kodunu çözerken gösterilen rastgelelik. 0.0f değeri, kod çözmeyi açmayla ifade eder.
herkese açık soyut int topK ()
Her kod çözme adımı için örneklenecek ilk K jeton sayısı. 1 değeri, kod çözmenin açgözlü olduğu anlamına gelir.