LlmInference

klasa publiczna LlmInference

Interfejs API języka Java do działania LlmInference

Zagnieżdżone klasy

klasa LlmInference.LlmInferenceOptions Opcje konfigurowania: LlmInference

Metody publiczne

void	close() Zamyka i czyści `LlmInference`.
statyczny LlmInference	createFromOptions(kontekst kontekst, opcje LlmInference.LlmInferenceOptions) Tworzy zadanie LlmInference.
String	generateResponse(String inputText) Generuje odpowiedź na podstawie wpisanego tekstu.
void	generateResponseAsync(ciąg znaków wejściowy) Generuje odpowiedź na podstawie wpisanego tekstu.
int	sizeInTokens(tekst ciągu znaków) Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku.

Metody dziedziczone

Z klasy java.lang.Object

boolean	równa się(Object arg0)
final Class<?>	getClass()
int	hashCode()
final void	notify()
final void	notifyAll()
String	toString()
final void	wait(long arg0, int arg1)
final void	wait(long arg0)
final void	czas()

Z interfejsu java.lang.AutoCloseable

abstrakcja void

close()

Metody publiczne

public void close ()

Zamyka i czyści LlmInference.

public static LlmInference createFromOptions (Kontekst kontekst, opcje LlmInference.LlmInferenceOptions)

Tworzy zadanie LlmInference.

Parametry

sytuacja
Opcje

public Ciąg generateResponse (StringinputText)

Generuje odpowiedź na podstawie wpisanego tekstu.

Parametry

inputText	`String` do przetworzenia.

Rzuty

	jeśli wnioskowanie się nie uda.

public void generateResponseAsync (String insertText)

Generuje odpowiedź na podstawie wpisanego tekstu.

Parametry

inputText	`String` do przetworzenia.

Rzuty

	jeśli wnioskowanie się nie uda.

public int sizeInTokens (tekst)

Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku. Nie można wywołać, gdy zapytanie generateResponse(String) jest aktywne. generateResponse

Parametry

plik tekstowy,	Tekst do tokenizacji.

Zwroty

Liczba tokenów wynikowej tokenizacji tekstu.

Rzuty

	jeśli tokenizacja się nie powiedzie.