सार्वजनिक स्टैटिक ऐब्स्ट्रैक्ट क्लास
LlmInference.LlmInferenceOptions
LlmInference सेट अप करने के विकल्प.
नेस्ट की गई क्लास
| क्लास | LlmInference.LlmInferenceOptions.Builder | LlmInference.LlmInferenceOptions का बिल्डर. |
|
पब्लिक कंस्ट्रक्टर
सार्वजनिक तरीके
| स्टैटिक LlmInference.LlmInferenceOptions.Builder |
बिल्डर()
नए LlmInfaenceOptions बिल्डर को इंस्टैंशिएट करता है.
|
| ऐब्सट्रैक्ट ज़रूरी नहीं<ErrorListener> |
errorListener()
ERROR(/LlmInference#generateAsync) एपीआई के लिए इस्तेमाल करने के लिए, गड़बड़ी की पहचान करने वाला. |
| ऐब्सट्रैक्ट ज़रूरी नहीं<स्ट्रिंग> |
loraPath()
डिवाइस पर सेव किए गए, LoRA मॉडल ऐसेट बंडल का ऐब्सलूट पाथ.
|
| ऐब्स्ट्रैक्ट int |
maxTokens()
kv-कैश मेमोरी की कुल लंबाई.
|
| ऐब्सट्रैक्ट स्ट्रिंग |
modelPath()
tflite मॉडल फ़ाइल पर ले जाने वाला पाथ.
|
| ऐब्स्ट्रैक्ट int |
randomSeed() का इस्तेमाल करें
सैंपलिंग टोकन के लिए रैंडम सीड.
|
| ऐब्स्ट्रैक्ट ज़रूरी नहीं<ProgressListener<String>> |
resultListener()
ERROR(/LlmInference#generateAsync) एपीआई के लिए इस्तेमाल करने के लिए, रिज़ल्ट लिसनर. |
| ऐब्स्ट्रैक्ट फ़्लोट |
तापमान()
अगले टोकन को डिकोड करने के दौरान होने वाली गड़बड़ी.
|
| ऐब्स्ट्रैक्ट int |
topK()
हर डिकोडिंग चरण के लिए, सैंपल किए जाने वाले टोकन की टॉप K संख्या.
|
इनहेरिट किए गए तरीके
पब्लिक कंस्ट्रक्टर
सार्वजनिक LlmInferenceOptions ()
सार्वजनिक तरीके
सार्वजनिक स्टैटिक LlmInference.LlmInferenceOptions.Builder बिल्डर ()
नए LlmInfaenceOptions बिल्डर को इंस्टैंशिएट करता है.
सार्वजनिक ऐब्स्ट्रैक्ट ज़रूरी नहीं<ErrorListener> errorListener ()
ERROR(/LlmInference#generateAsync) एपीआई के लिए इस्तेमाल करने के लिए, गड़बड़ी की पहचान करने वाला.
सार्वजनिक ऐब्सट्रैक्ट ज़रूरी नहीं<String> loraPath ()
डिवाइस पर सेव किए गए, LoRA मॉडल ऐसेट बंडल का ऐब्सलूट पाथ. यह सुविधा सिर्फ़ जीपीयू मॉडल के साथ काम करती है.
सार्वजनिक ऐब्स्ट्रैक्ट int maxTokens ()
kv-कैश मेमोरी की कुल लंबाई. दूसरे शब्दों में, यह इनपुट और आउटपुट टोकन की कुल संख्या है, जिसे मॉडल को मैनेज करना होगा.
सार्वजनिक ऐब्स्ट्रैक्ट int randomSeed ()
सैंपलिंग टोकन के लिए रैंडम सीड.
सार्वजनिक ऐब्स्ट्रैक्ट ज़रूरी नहीं<ProgressListener<String>> resultListener ()
ERROR(/LlmInference#generateAsync) एपीआई के लिए इस्तेमाल करने के लिए, रिज़ल्ट लिसनर.
सार्वजनिक ऐब्स्ट्रैक्ट फ़्लोट तापमान ()
अगले टोकन को डिकोड करने के दौरान होने वाली गड़बड़ी. 0.0f वैल्यू का मतलब है लालची डिकोडिंग.
सार्वजनिक ऐब्स्ट्रैक्ट int topK ()
हर डिकोडिंग चरण के लिए, सैंपल किए जाने वाले टोकन की टॉप K संख्या. 1 की वैल्यू का मतलब है लालची डिकोडिंग.