klasa publiczna LlmInference
Interfejs API języka Java do działania LlmInference
Zagnieżdżone klasy
klasa | LlmInference.LlmInferenceOptions | Opcje konfigurowania: LlmInference |
Metody publiczne
void |
close()
Zamyka i czyści
LlmInference . |
statyczny LlmInference |
createFromOptions(kontekst kontekst, opcje LlmInference.LlmInferenceOptions)
Tworzy zadanie LlmInference.
|
String | |
void | |
int |
sizeInTokens(tekst ciągu znaków)
Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku.
|
Metody dziedziczone
Metody publiczne
public static LlmInference createFromOptions (Kontekst kontekst, opcje LlmInference.LlmInferenceOptions)
Tworzy zadanie LlmInference.
Parametry
sytuacja | |
---|---|
Opcje |
public Ciąg generateResponse (StringinputText)
Generuje odpowiedź na podstawie wpisanego tekstu.
Parametry
inputText | String do przetworzenia. |
---|
Rzuty
jeśli wnioskowanie się nie uda. |
public void generateResponseAsync (String insertText)
Generuje odpowiedź na podstawie wpisanego tekstu.
Parametry
inputText | String do przetworzenia. |
---|
Rzuty
jeśli wnioskowanie się nie uda. |
public int sizeInTokens (tekst)
Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku. Nie można wywołać, gdy zapytanie generateResponse(String)
jest aktywne. generateResponse
Parametry
plik tekstowy, | Tekst do tokenizacji. |
---|
Zwroty
- Liczba tokenów wynikowej tokenizacji tekstu.
Rzuty
jeśli tokenizacja się nie powiedzie. |