LlmInference

מחלקה ציבורית LlmInference

ממשק API של Java למשימת LlmInference

מחלקות מקננות

מחלקה LlmInference.LlmInferenceOptions אפשרויות להגדרת LlmInference. 

שיטות ציבוריות

void
close()
סוגר ומנקה את LlmInference.
סטטי LlmInference
createFromOptions(הקשר הקשר, אפשרויות LlmInference.LlmInferenceOptions)
יצירת משימת LlmInference.
String
generateResponse(מחרוזת קלטText)
יצירת תשובה על סמך טקסט הקלט.
void
generateResponseAsync(מחרוזת קלטText)
יצירת תשובה על סמך טקסט הקלט.
int
sizeInTokens(טקסט מחרוזת)
הפונקציה מפעילה קריאה רק לאסימונים של ה-LLM, ומחזירה את הגודל (באסימונים) של התוצאה.

שיטות שעברו בירושה

שיטות ציבוריות

public void סגירה ()

סוגר ומנקה את LlmInference.

ציבורי סטטי LlmInference createFromOptions (הֶקשר, LlmInference.LlmInferenceOptions)

יצירת משימת LlmInference.

פרמטרים
context
אפשרויות

Public מחרוזת generateResponse (מחרוזת קלטText)

יצירת תשובה על סמך טקסט הקלט.

פרמטרים
inputText String לעיבוד.
קליעות
אם ההסקה נכשלת.

public void generateResponseAsync (מחרוזת קלטText)

יצירת תשובה על סמך טקסט הקלט.

פרמטרים
inputText String לעיבוד.
קליעות
אם ההסקה נכשלת.

public int sizeInTokens (מחרוזת טקסט)

הפונקציה מפעילה קריאה רק לאסימונים של ה-LLM, ומחזירה את הגודל (באסימונים) של התוצאה. לא ניתן לקבל קריאה כל עוד שאילתת generateResponse(String) פעילה. createResponse

פרמטרים
טקסט הטקסט שאותו רוצים להמיר לאסימונים.
החזרות
  • מספר האסימונים שהופקו בהמרה לאסימונים של הטקסט.
קליעות
אם ההמרה לאסימונים נכשלת.