klasa publiczna LlmInference
Interfejs API języka Java do działania LlmInference
Zagnieżdżone klasy
| klasa | LlmInference.LlmInferenceOptions | Opcje konfigurowania: LlmInference |
|
Metody publiczne
| void |
close()
Zamyka i czyści
LlmInference. |
| statyczny LlmInference |
createFromOptions(kontekst kontekst, opcje LlmInference.LlmInferenceOptions)
Tworzy zadanie LlmInference.
|
| String | |
| void | |
| int |
sizeInTokens(tekst ciągu znaków)
Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku.
|
Metody dziedziczone
Metody publiczne
public static LlmInference createFromOptions (Kontekst kontekst, opcje LlmInference.LlmInferenceOptions)
Tworzy zadanie LlmInference.
Parametry
| sytuacja | |
|---|---|
| Opcje |
public Ciąg generateResponse (StringinputText)
Generuje odpowiedź na podstawie wpisanego tekstu.
Parametry
| inputText | String do przetworzenia. |
|---|
Rzuty
| jeśli wnioskowanie się nie uda. |
public void generateResponseAsync (String insertText)
Generuje odpowiedź na podstawie wpisanego tekstu.
Parametry
| inputText | String do przetworzenia. |
|---|
Rzuty
| jeśli wnioskowanie się nie uda. |
public int sizeInTokens (tekst)
Uruchamia wywołanie tylko tokenizacji dla LLM i zwraca rozmiar (w tokenach) wyniku. Nie można wywołać, gdy zapytanie generateResponse(String) jest aktywne. generateResponse
Parametry
| plik tekstowy, | Tekst do tokenizacji. |
|---|
Zwroty
- Liczba tokenów wynikowej tokenizacji tekstu.
Rzuty
| jeśli tokenizacja się nie powiedzie. |