LlmInference

herkese açık sınıf LlmInference

LlmInference Task Java API'si

İç İçe Sınıflar

sınıf LlmInference.LlmInferenceOptions LlmInference ayarlama seçenekleri. 

Herkese Açık Yöntemler

void
close()
LlmInference cihazını kapatıp temizler.
statik LlmInference
createFromOptions(Bağlam bağlamı, LlmInference.LlmInferenceOptions seçenekleri)
LlmInference Task oluşturur.
String
generateResponse(Dize InputText)
Giriş metnine göre bir yanıt oluşturur.
void
generateResponseAsync(String InputText)
Giriş metnine göre bir yanıt oluşturur.
int
sizeInTokens(Dize metni)
Yalnızca LLM için jetonlara ayırma işlemini yürütür ve sonucun boyutunu (jetonlar cinsinden) döndürür.

Devralınan Yöntemler

Herkese Açık Yöntemler

herkese açık void close ()

LlmInference cihazını kapatıp temizler.

herkese açık statik LlmInference createFromOptions (Bağlam bağlamı, LlmInference.LlmInferenceOptions seçenekleri)

LlmInference Task oluşturur.

Parametreler
context
seçenekler

herkese açık Dize generateResponse (Dize InputText)

Giriş metnine göre bir yanıt oluşturur.

Parametreler
inputText İşlenmek üzere String.
Dekoratif yastıklar
çıkarım başarısız olursa.

herkese açık void generateResponseAsync (String GirişText)

Giriş metnine göre bir yanıt oluşturur.

Parametreler
inputText İşlenmek üzere String.
Dekoratif yastıklar
çıkarım başarısız olursa.

herkese açık int sizeInTokens (Dize metni)

Yalnızca LLM için jetonlara ayırma işlemini yürütür ve sonucun boyutunu (jetonlar cinsinden) döndürür. generateResponse(String) sorgusu etkin durumdayken çağrılamaz. generateResponse

Parametreler
text (metin) Jetonlaştırılacak metin.
İlerlemeler
  • Metnin sonuç olarak jetonlara ayrılması işlemindeki jeton sayısı.
Dekoratif yastıklar
şifrelendirme başarısız olursa.