מחלקה מופשטת סטטית ציבורית
LlmInference.LlmInferenceOptions
אפשרויות להגדרת LlmInference.
מחלקות מקננות
| מחלקה | LlmInference.LlmInferenceOptions.Builder | בנאי של LlmInference.LlmInferenceOptions. |
|
בנאים ציבוריים
שיטות ציבוריות
| סטטי LlmInference.LlmInferenceOptions.Builder |
builder()
יצירת גרסה חדשה של הכלי LlmInferenceOptions.
|
| מופשט אופציונלי<ErrorListener> |
errorListener()
האזנה לשגיאות לשימוש עבור ה-API של
ERROR(/LlmInference#generateAsync). |
| מופשט אופציונלי<מחרוזת> |
loraPath()
הנתיב המוחלט לחבילת הנכסים של דגם LoRA שנשמרה באופן מקומי במכשיר.
|
| מופשט int |
maxTokens()
האורך הכולל של kv-cache.
|
| מופשט מחרוזת |
modelPath()
הנתיב שמפנה לקובץ המודל של tflite.
|
| מופשט int |
randomSeed()
מקור אקראי לדגימה של אסימונים.
|
| מופשט אופציונלי<ProgressListener<String>> |
resultListener()
האזנה לתוצאה לשימוש עבור ה-API של
ERROR(/LlmInference#generateAsync). |
| מופשט מספר ממשי (float) |
Temperature()
אקראיות בפענוח האסימון הבא.
|
| מופשט int |
topK()
מספר ה-K של האסימונים שבהם יש לדגום את כל שלב בפענוח הקידוד.
|
שיטות שעברו בירושה
בנאים ציבוריים
ציבורי LlmInferenceOptions ()
שיטות ציבוריות
Public סטטי LlmInference.LlmInferenceOptions.Builder builder ()
יצירת גרסה חדשה של הכלי LlmInferenceOptions.
ציבורי מופשט אופציונלי<ErrorListener> errorListener ()
האזנה לשגיאות לשימוש עבור ה-API של ERROR(/LlmInference#generateAsync).
ציבורי מופשט אופציונלי<String> loraPath ()
הנתיב המוחלט לחבילת הנכסים של דגם LoRA שנשמרה באופן מקומי במכשיר. האפשרות הזו תואמת רק למודלים של GPU.
Public מופשט int maxTokens ()
האורך הכולל של kv-cache. במילים אחרות, זהו המספר הכולל של אסימוני קלט + פלט שהמודל צריך לטפל בהם.
Public מופשט int randomSeed ()
מקור אקראי לדגימה של אסימונים.
ציבורי מופשט אופציונלי<ProgressListener<String>> resultListener ()
האזנה לתוצאה לשימוש עבור ה-API של ERROR(/LlmInference#generateAsync).
ציבורי מופשט מספר ממשי (float) טמפרטורה ()
אקראיות בפענוח האסימון הבא. הערך 0.0f משמעו פענוח באמצעות אלגוריתם חמדן (Greedy).
Public מופשט int topK ()
מספר ה-K של האסימונים שבהם יש לדגום את כל שלב בפענוח הקידוד. הערך 1 משמעו פענוח באמצעות אלגוריתם חמדן (Greedy).