LlmInference

מחלקה ציבורית LlmInference

ממשק API של Java למשימת LlmInference

מחלקות מקננות

מחלקה LlmInference.LlmInferenceOptions אפשרויות להגדרת LlmInference.

שיטות ציבוריות

void	close() סוגר ומנקה את `LlmInference`.
סטטי LlmInference	createFromOptions(הקשר הקשר, אפשרויות LlmInference.LlmInferenceOptions) יצירת משימת LlmInference.
String	generateResponse(מחרוזת קלטText) יצירת תשובה על סמך טקסט הקלט.
void	generateResponseAsync(מחרוזת קלטText) יצירת תשובה על סמך טקסט הקלט.
int	sizeInTokens(טקסט מחרוזת) הפונקציה מפעילה קריאה רק לאסימונים של ה-LLM, ומחזירה את הגודל (באסימונים) של התוצאה.

שיטות שעברו בירושה

מהכיתה Java.lang.Object

boolean	equals(Object arg0)
סופי כיתה<?>	getClass()
int	hashCode()
בטל סופי	notify()
בטל סופי	notifyAll()
String	toString()
בטל סופי	wait(long arg0, int arg1)
בטל סופי	wait(long arg0)
בטל סופי	wait()

מהממשק Java.lang.AutoCloseable

מופשט בטל

close()

שיטות ציבוריות

public void סגירה ()

סוגר ומנקה את LlmInference.

ציבורי סטטי LlmInference createFromOptions (הֶקשר, LlmInference.LlmInferenceOptions)

יצירת משימת LlmInference.

פרמטרים

context
אפשרויות

Public מחרוזת generateResponse (מחרוזת קלטText)

יצירת תשובה על סמך טקסט הקלט.

פרמטרים

inputText	`String` לעיבוד.

קליעות

	אם ההסקה נכשלת.

public void generateResponseAsync (מחרוזת קלטText)

יצירת תשובה על סמך טקסט הקלט.

פרמטרים

inputText	`String` לעיבוד.

קליעות

	אם ההסקה נכשלת.

public int sizeInTokens (מחרוזת טקסט)

הפונקציה מפעילה קריאה רק לאסימונים של ה-LLM, ומחזירה את הגודל (באסימונים) של התוצאה. לא ניתן לקבל קריאה כל עוד שאילתת generateResponse(String) פעילה. createResponse

פרמטרים

טקסט	הטקסט שאותו רוצים להמיר לאסימונים.

החזרות

מספר האסימונים שהופקו בהמרה לאסימונים של הטקסט.

קליעות

	אם ההמרה לאסימונים נכשלת.