LlmInference.LlmInferenceOptions

کلاس انتزاعی ایستا عمومی LlmInference.LlmInferenceOptions

گزینه هایی برای راه اندازی LlmInference .

کلاس LlmInference.LlmInferenceOptions.Builder سازنده برای LlmInference.LlmInferenceOptions .

استاتیک LlmInference.LlmInferenceOptions.Builder	سازنده () یک سازنده جدید LlmInferenceOptions را نمونه سازی می کند.
چکیده اختیاری < ErrorListener >	errorListener () شنونده خطا برای استفاده از API `ERROR(/LlmInference#generateAsync)` .
چکیده اختیاری < رشته >	loraPath () مسیر مطلق به بسته دارایی مدل LoRA که به صورت محلی در دستگاه ذخیره شده است.
انتزاعی	maxTokens () طول کل kv-cache.
رشته انتزاعی	modelPath () مسیری که به فایل مدل tflite اشاره می کند.
انتزاعی	دانه تصادفی () بذر تصادفی برای نمونه گیری نشانه ها.
چکیده اختیاری < ProgressListener < رشته >>	resultListener () شنونده نتیجه برای استفاده برای API `ERROR(/LlmInference#generateAsync)` .
شناور انتزاعی	درجه حرارت () تصادفی بودن هنگام رمزگشایی رمز بعدی.
انتزاعی	topK () تعداد K بالای نشانه هایی که باید برای هر مرحله رمزگشایی از آنها نمونه برداری شود.

هر	convertToAnyProto () گزینه های MediaPipe Tasks را به یک پیام `ERROR(/Any)` proto3 تبدیل می کند.
CalculatorOptions	convertToCalculatorOptionsProto () یک گزینه MediaPipe Tasks را به یک پیام protobuf `ERROR(/CalculatorOptions)` تبدیل می کند.

از کلاس java.lang.Object

سازندگان عمومی

یک سازنده جدید LlmInferenceOptions را نمونه سازی می کند.

شنونده خطا برای استفاده از API ERROR(/LlmInference#generateAsync) .

مسیر مطلق به بسته دارایی مدل LoRA که به صورت محلی در دستگاه ذخیره شده است. این فقط با مدل های GPU سازگار است.

طول کل kv-cache. به عبارت دیگر، این تعداد کل نشانه‌های ورودی + خروجی است که مدل باید مدیریت کند.

مسیری که به فایل مدل tflite اشاره می کند.

بذر تصادفی برای نمونه گیری نشانه ها.

شنونده نتیجه برای استفاده برای API ERROR(/LlmInference#generateAsync) .

تصادفی بودن هنگام رمزگشایی رمز بعدی. مقدار 0.0f به معنای رمزگشایی حریصانه است.

تعداد K بالای نشانه هایی که باید برای هر مرحله رمزگشایی از آنها نمونه برداری شود. مقدار 1 به معنای رمزگشایی حریصانه است.