LlmInference.LlmInferenceOptions.Builder

klasa abstrakte statike publike LlmInference.LlmInferenceOptions.Builder

Ndërtuesit Publikë

Metodat publike

LlmInference përfundimtare.LlmInferenceOptions
ndërto ()
Vlerëson dhe ndërton shembullin ERROR(/ImageGeneratorOptions) .
abstrakt LlmInference.LlmInferenceOptions.Builder
setErrorListener (dëgjues ErrorListener )
Vendos që dëgjuesi i gabimit të thirret me API-në e asinkronizuar.
abstrakt LlmInference.LlmInferenceOptions.Builder
setLoraPath ( String loraPath)
Rruga absolute për në paketën e aseteve të modelit LoRA të ruajtur në nivel lokal në pajisje.
abstrakt LlmInference.LlmInferenceOptions.Builder
setMaxTokens (int maxTokens)
Konfiguron numrin total të argumenteve për hyrje dhe dalje).
abstrakt LlmInference.LlmInferenceOptions.Builder
setModelPath ( String modelPath)
Vendos shtegun e modelit për detyrën e gjeneruesit të tekstit.
abstrakt LlmInference.LlmInferenceOptions.Builder
setRandomSeed (int randomSeed)
Konfiguron farën e rastësishme për mostrat e mostrave.
abstrakt LlmInference.LlmInferenceOptions.Builder
setResultListener ( ProgressListener < String > dëgjues)
Vendos që dëgjuesi i rezultateve të thirret me API-në e asinkronizuar.
abstrakt LlmInference.LlmInferenceOptions.Builder
vendos Temperatura (temperatura e notit)
Konfiguron rastësinë kur deshifron shenjën tjetër.
abstrakt LlmInference.LlmInferenceOptions.Builder
setTopK (int topK)
Konfiguron numrin më të lartë K të shenjave nga të cilat do të merret mostra për çdo hap të dekodimit.

Metodat e trashëguara

Ndërtuesit Publikë

Ndërtues publik ()

Metodat publike

LlmInference përfundimtare publike. Ndërtimi i LlmInferenceOptions ()

Vlerëson dhe ndërton shembullin ERROR(/ImageGeneratorOptions) .

abstrakt publik LlmInference.LlmInferenceOptions.Builder setErrorListener (dëgjues ErrorListener )

Vendos që dëgjuesi i gabimit të thirret me API-në e asinkronizuar.

Parametrat
dëgjues

abstrakt publik LlmInference.LlmInferenceOptions.Builder setLoraPath ( string loraPath)

Rruga absolute për në paketën e aseteve të modelit LoRA të ruajtur në nivel lokal në pajisje. Kjo është e përputhshme vetëm me modelet GPU.

Parametrat
loraPath

abstrakt publik LlmInference.LlmInferenceOptions.Builder setMaxTokens (int maxTokens)

Konfiguron numrin total të argumenteve për hyrje dhe dalje).

Parametrat
maxTokens

abstrakt publik LlmInference.LlmInferenceOptions.Builder setModelPath ( String modelPath)

Vendos shtegun e modelit për detyrën e gjeneruesit të tekstit.

Parametrat
modelRruga

abstrakt publik LlmInference.LlmInferenceOptions . Builder setRandomSeed (int randomSeed)

Konfiguron farën e rastësishme për mostrat e mostrave.

Parametrat
Farë e rastësishme

abstrakt publik LlmInference.LlmInferenceOptions.Builder setResultListener ( ProgressListener < String > dëgjues)

Vendos që dëgjuesi i rezultateve të thirret me API-në e asinkronizuar.

Parametrat
dëgjues

abstrakt publik LlmInference.LlmInferenceOptions.Cilësimi i ndërtuesitTemperatura (temperatura notuese)

Konfiguron rastësinë kur deshifron shenjën tjetër. Një vlerë prej 0.0f do të thotë dekodim i pangopur. Vlera e paracaktuar është 0.8f.

Parametrat
temperatura

abstrakt publik LlmInference.LlmInferenceOptions.Builder setTopK (int topK)

Konfiguron numrin më të lartë K të shenjave nga të cilat do të merret mostra për çdo hap të dekodimit. Një vlerë prej 1 do të thotë dekodim i pangopur. Vlera e paracaktuar është 40.

Parametrat
kryeK