LlmInference

classe pubblica LlmInference

API Java LlmInference Task

Corsi nidificati

classe LlmInference.LlmInferenceOptions Opzioni per configurare un LlmInference. 

Metodi pubblici

void
close()
Chiude e pulisce LlmInference.
statico LlmInference
createFromOptions(Context context, LlmInference.LlmInferenceOptions)
Crea un'attività LlmInference.
String
generateResponse(Stringa inputText)
Genera una risposta basata sul testo di input.
void
generateResponseAsync(Stringa inputText)
Genera una risposta basata sul testo di input.
int
sizeInTokens(testo Stringa)
Esegue una chiamata solo alla tokenizzazione per l'LLM e restituisce la dimensione (in token) del risultato.

Metodi ereditati

Metodi pubblici

pubblica void chiudi ()

Chiude e pulisce LlmInference.

pubblico static LlmInference createFromOptions (Context context, LlmInference.LlmInferenceOptions opzioni)

Crea un'attività LlmInference.

Parametri
context
opzioni del modello.

Public Stringa generateResponse (String inputText)

Genera una risposta basata sul testo di input.

Parametri
inputText un String per l'elaborazione.
Lanci
se l'inferenza non va a buon fine.

Public void generateResponseAsync (String inputText)

Genera una risposta basata sul testo di input.

Parametri
inputText un String per l'elaborazione.
Lanci
se l'inferenza non va a buon fine.

Public int sizeInTokens (testo String)

Esegue una chiamata solo alla tokenizzazione per l'LLM e restituisce la dimensione (in token) del risultato. Impossibile chiamare mentre è attiva una query generateResponse(String). generateResponse

Parametri
testo Il testo da tokenizzare.
Ritorni
  • Il numero di token nella tokenizzazione del testo risultante.
Lanci
in caso di errore della tokenizzazione.