خيارات إعداد "LlmInference"
الصفوف المتداخلة
| صنف | LlmInference.LlmInferenceOptions.Builder | أداة إنشاء حسابات "LlmInference.LlmInferenceOptions" |
|
الإنشاء العام
الطرق العامة
| ثابت LlmInference.LlmInferenceOptions.Builder |
builder()
إنشاء مثيل لمنصة LlmInferenceOptions.
|
| مجردة اختيارية<ErrorListener> |
errorListener()
أداة معالجة الأخطاء المطلوب استخدامها في
ERROR(/LlmInference#generateAsync) API |
| ملخص اختياري<سلسلة> |
loraPath()
المسار المطلق لحِزمة مواد العرض الخاصة بنموذج LoRA المخزَّنة محليًا على الجهاز.
|
| تجريدي عدد صحيح |
maxTokens()
تمثّل هذه السمة إجمالي طول ذاكرة التخزين المؤقت kv.
|
| تجريدي سلسلة |
modelPath()
المسار الذي يشير إلى ملف نموذج tflite.
|
| تجريدي عدد صحيح |
randomSeed()
القيمة الأساسية العشوائية لأخذ العينات.
|
| abstract Optional<ProgressListener<String>> |
resultListener()
أداة معالجة النتائج التي سيتم استخدامها في واجهة برمجة التطبيقات
ERROR(/LlmInference#generateAsync) |
| تجريدي عائم |
health()
الترتيب العشوائي عند فك ترميز الرمز المميّز التالي.
|
| تجريدي عدد صحيح |
topK()
أهم عدد من الرموز المميزة يمكن أخذ عينات منها لكل خطوة لفك الترميز.
|
الطرق المكتسَبة
الإنشاء العام
عامة LlmInferenceOptions ()
الطرق العامة
public static LlmInference.LlmInferenceOptions.Builder أداة الإنشاء ()
إنشاء مثيل لمنصة LlmInferenceOptions.
public مجرّد اختياري<ErrorListener> errorListener ()
أداة معالجة الأخطاء المطلوب استخدامها في ERROR(/LlmInference#generateAsync) API
عام تجريدي اختياري<سلسلة> loraPath ()
المسار المطلق لحِزمة مواد العرض الخاصة بنموذج LoRA المخزَّنة محليًا على الجهاز. ولا يتوافق هذا إلا مع طُرز وحدة معالجة الرسومات.
public ملخّص int maxTokens ()
تمثّل هذه السمة إجمالي طول ذاكرة التخزين المؤقت kv. بمعنى آخر، هذا هو إجمالي عدد الرموز المميّزة للإدخال والإخراج التي يجب أن يتعامل معها النموذج.
public تجريدي int randomSeed ()
القيمة الأساسية العشوائية لأخذ العينات.
public ملخّص اختياري<ProgressListener<String>> resultListener ()
أداة معالجة النتائج التي سيتم استخدامها في واجهة برمجة التطبيقات ERROR(/LlmInference#generateAsync)
علني تجريدي عائم درجة الحرارة ()
الترتيب العشوائي عند فك ترميز الرمز المميّز التالي. تعني القيمة 0.0f فك التشفير بطريقة متناهية.
public تجريدي int topK ()
أهم عدد من الرموز المميزة يمكن أخذ عينات منها لكل خطوة لفك الترميز. وتمثّل القيمة 1 طريقة طمعة في فك الترميز.