একটি LlmInference সেট আপ করার জন্য বিকল্প।
নেস্টেড ক্লাস
| ক্লাস | LlmInference.LlmInference Options.Builder | LlmInference.LlmInferenceOptions এর জন্য নির্মাতা। | |
পাবলিক কনস্ট্রাক্টর
পাবলিক পদ্ধতি
| স্ট্যাটিক LlmInference.LlmInferenceOptions.Builder | নির্মাতা () একটি নতুন LlmInferenceOptions নির্মাতাকে ইনস্ট্যান্টিয়েট করে। |
| বিমূর্ত ঐচ্ছিক <ErrorListener> | ত্রুটি শ্রোতা () ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ত্রুটি শ্রোতা। |
| বিমূর্ত ঐচ্ছিক < স্ট্রিং > | loraPath () ডিভাইসে স্থানীয়ভাবে সংরক্ষিত LoRA মডেল অ্যাসেট বান্ডেলের পরম পথ। |
| বিমূর্ত int | ম্যাক্সটোকেনস () কেভি-ক্যাশের মোট দৈর্ঘ্য। |
| বিমূর্ত স্ট্রিং | মডেলপথ () পাথ যা tflite মডেল ফাইলের দিকে নির্দেশ করে। |
| বিমূর্ত int | এলোমেলো বীজ () নমুনা টোকেন জন্য র্যান্ডম বীজ. |
| বিমূর্ত ঐচ্ছিক < ProgressListener < String >> | ফলাফল শ্রোতা () ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ফলাফল শ্রোতা। |
| বিমূর্ত ভাসা | তাপমাত্রা () পরবর্তী টোকেন ডিকোড করার সময় এলোমেলোতা। |
| বিমূর্ত int | টপকে () প্রতিটি ডিকোডিং ধাপের জন্য নমুনা নেওয়া টোকেনগুলির শীর্ষ K নম্বর৷ |
উত্তরাধিকারসূত্রে প্রাপ্ত পদ্ধতি
পাবলিক কনস্ট্রাক্টর
সর্বজনীন LlmInference Options ()
পাবলিক পদ্ধতি
পাবলিক স্ট্যাটিক LlmInference.LlmInferenceOptions.Builder builder ()
একটি নতুন LlmInferenceOptions নির্মাতাকে ইনস্ট্যান্টিয়েট করে।
সর্বজনীন বিমূর্ত ঐচ্ছিক < ErrorListener > errorListener ()
ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ত্রুটি শ্রোতা।
সর্বজনীন বিমূর্ত ঐচ্ছিক < স্ট্রিং > loraPath ()
ডিভাইসে স্থানীয়ভাবে সংরক্ষিত LoRA মডেল অ্যাসেট বান্ডেলের পরম পথ। এটি শুধুমাত্র GPU মডেলের সাথে সামঞ্জস্যপূর্ণ।
সর্বজনীন বিমূর্ত int maxTokens ()
কেভি-ক্যাশের মোট দৈর্ঘ্য। অন্য কথায়, এটি হল মোট ইনপুট + আউটপুট টোকেনগুলির সংখ্যা যা মডেলটিকে পরিচালনা করতে হবে৷
পাবলিক বিমূর্ত int randomSeed ()
নমুনা টোকেন জন্য র্যান্ডম বীজ.
সর্বজনীন বিমূর্ত ঐচ্ছিক < প্রগতি শ্রোতা < স্ট্রিং >> ফলাফল শ্রোতা ()
ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ফলাফল শ্রোতা।
পাবলিক বিমূর্ত ভাসমান তাপমাত্রা ()
পরবর্তী টোকেন ডিকোড করার সময় এলোমেলোতা। 0.0f এর মান মানে লোভী ডিকোডিং।
সর্বজনীন বিমূর্ত int topK ()
প্রতিটি ডিকোডিং ধাপের জন্য নমুনা নেওয়া টোকেনগুলির শীর্ষ K নম্বর৷ 1 এর মান মানে লোভী ডিকোডিং।
একটি LlmInference সেট আপ করার জন্য বিকল্প।
নেস্টেড ক্লাস
| ক্লাস | LlmInference.LlmInference Options.Builder | LlmInference.LlmInferenceOptions এর জন্য নির্মাতা। | |
পাবলিক কনস্ট্রাক্টর
পাবলিক পদ্ধতি
| স্ট্যাটিক LlmInference.LlmInferenceOptions.Builder | নির্মাতা () একটি নতুন LlmInferenceOptions নির্মাতাকে ইনস্ট্যান্টিয়েট করে। |
| বিমূর্ত ঐচ্ছিক <ErrorListener> | ত্রুটি শ্রোতা () ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ত্রুটি শ্রোতা। |
| বিমূর্ত ঐচ্ছিক < স্ট্রিং > | loraPath () ডিভাইসে স্থানীয়ভাবে সংরক্ষিত LoRA মডেল অ্যাসেট বান্ডেলের পরম পথ। |
| বিমূর্ত int | ম্যাক্সটোকেনস () কেভি-ক্যাশের মোট দৈর্ঘ্য। |
| বিমূর্ত স্ট্রিং | মডেলপথ () পাথ যা tflite মডেল ফাইলের দিকে নির্দেশ করে। |
| বিমূর্ত int | এলোমেলো বীজ () নমুনা টোকেন জন্য র্যান্ডম বীজ. |
| বিমূর্ত ঐচ্ছিক < ProgressListener < String >> | ফলাফল শ্রোতা () ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ফলাফল শ্রোতা। |
| বিমূর্ত ভাসা | তাপমাত্রা () পরবর্তী টোকেন ডিকোড করার সময় এলোমেলোতা। |
| বিমূর্ত int | টপকে () প্রতিটি ডিকোডিং ধাপের জন্য নমুনা নেওয়া টোকেনগুলির শীর্ষ K নম্বর৷ |
উত্তরাধিকারসূত্রে প্রাপ্ত পদ্ধতি
পাবলিক কনস্ট্রাক্টর
সর্বজনীন LlmInference Options ()
পাবলিক পদ্ধতি
পাবলিক স্ট্যাটিক LlmInference.LlmInferenceOptions.Builder builder ()
একটি নতুন LlmInferenceOptions নির্মাতাকে ইনস্ট্যান্টিয়েট করে।
সর্বজনীন বিমূর্ত ঐচ্ছিক < ErrorListener > errorListener ()
ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ত্রুটি শ্রোতা।
সর্বজনীন বিমূর্ত ঐচ্ছিক < স্ট্রিং > loraPath ()
ডিভাইসে স্থানীয়ভাবে সংরক্ষিত LoRA মডেল অ্যাসেট বান্ডেলের পরম পথ। এটি শুধুমাত্র GPU মডেলের সাথে সামঞ্জস্যপূর্ণ।
সর্বজনীন বিমূর্ত int maxTokens ()
কেভি-ক্যাশের মোট দৈর্ঘ্য। অন্য কথায়, এটি হল মোট ইনপুট + আউটপুট টোকেনগুলির সংখ্যা যা মডেলটিকে পরিচালনা করতে হবে৷
পাবলিক বিমূর্ত int randomSeed ()
নমুনা টোকেন জন্য র্যান্ডম বীজ.
সর্বজনীন বিমূর্ত ঐচ্ছিক < প্রগতি শ্রোতা < স্ট্রিং >> ফলাফল শ্রোতা ()
ERROR(/LlmInference#generateAsync) API-এর জন্য ব্যবহার করার জন্য ফলাফল শ্রোতা।
পাবলিক বিমূর্ত ভাসমান তাপমাত্রা ()
পরবর্তী টোকেন ডিকোড করার সময় এলোমেলোতা। 0.0f এর মান মানে লোভী ডিকোডিং।
সর্বজনীন বিমূর্ত int topK ()
প্রতিটি ডিকোডিং ধাপের জন্য নমুনা নেওয়া টোকেনগুলির শীর্ষ K নম্বর৷ 1 এর মান মানে লোভী ডিকোডিং।