LlmInference

공개 클래스 LlmInference

LlmInference 작업 자바 API

중첩된 클래스

클래스 LlmInference.LlmInferenceOptions LlmInference 설정 옵션 

공개 메서드

void
close()
LlmInference를 닫고 정리합니다.
정적 LlmInference
createFromOptions(컨텍스트 컨텍스트, LlmInference.LlmInferenceOptions 옵션)
LlmInference 태스크를 만듭니다.
String
generateResponse(String inputText)
입력 텍스트를 기반으로 응답을 생성합니다.
void
generateResponseAsync(String inputText)
입력 텍스트를 기반으로 응답을 생성합니다.
int
sizeInTokens(문자열 텍스트)
LLM의 토큰화만 호출한 후 결과의 크기 (토큰 단위)를 반환합니다.

상속된 메서드

공개 메서드

public void close ()

LlmInference를 닫고 정리합니다.

public static LlmInference createFromOptions (컨텍스트 컨텍스트, LlmInference.LlmInferenceOptions 옵션)

LlmInference 태스크를 만듭니다.

매개변수
context
옵션

public String generateResponse (String inputText)

입력 텍스트를 기반으로 응답을 생성합니다.

매개변수
inputText 처리를 위한 String입니다.
생성 값
추론이 실패할 경우 발생합니다.

public void generateResponseAsync (String inputText)

입력 텍스트를 기반으로 응답을 생성합니다.

매개변수
inputText 처리를 위한 String입니다.
생성 값
추론이 실패할 경우 발생합니다.

public int sizeInTokens (String text)

LLM의 토큰화만 호출한 후 결과의 크기 (토큰 단위)를 반환합니다. generateResponse(String) 쿼리가 활성 상태인 동안에는 호출할 수 없습니다. generateResponse

매개변수
text 토큰화할 텍스트입니다.
반환 값
  • 텍스트의 토큰화 결과로 나온 토큰 수입니다.
생성 값
토큰화 실패 시