LlmInference

klasa publiczna LlmInference

Interfejs API języka Java do działania LlmInference

Zagnieżdżone klasy

klasa LlmInference.LlmInferenceOptions Opcje konfigurowania: LlmInference 

Metody publiczne

void
close()
Zamyka i czyści LlmInference.
statyczny LlmInference
createFromOptions(kontekst kontekst, opcje LlmInference.LlmInferenceOptions)
Tworzy zadanie LlmInference.
String
generateResponse(String inputText)
Generuje odpowiedź na podstawie wpisanego tekstu.
void
generateResponseAsync(ciąg znaków wejściowy)
Generuje odpowiedź na podstawie wpisanego tekstu.
int
sizeInTokens(tekst ciągu znaków)
Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku.

Metody dziedziczone

Metody publiczne

public void close ()

Zamyka i czyści LlmInference.

public static LlmInference createFromOptions (Kontekst kontekst, opcje LlmInference.LlmInferenceOptions)

Tworzy zadanie LlmInference.

Parametry
sytuacja
Opcje

public Ciąg generateResponse (StringinputText)

Generuje odpowiedź na podstawie wpisanego tekstu.

Parametry
inputText String do przetworzenia.
Rzuty
jeśli wnioskowanie się nie uda.

public void generateResponseAsync (String insertText)

Generuje odpowiedź na podstawie wpisanego tekstu.

Parametry
inputText String do przetworzenia.
Rzuty
jeśli wnioskowanie się nie uda.

public int sizeInTokens (tekst)

Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku. Nie można wywołać, gdy zapytanie generateResponse(String) jest aktywne. generateResponse

Parametry
plik tekstowy, Tekst do tokenizacji.
Zwroty
  • Liczba tokenów wynikowej tokenizacji tekstu.
Rzuty
jeśli tokenizacja się nie powiedzie.