공개 정적 추상 클래스
LlmInference.LlmInferenceOptions
LlmInference 설정 옵션
중첩된 클래스
| 클래스 | LlmInference.LlmInferenceOptions.Builder | LlmInference.LlmInferenceOptions의 빌더입니다. |
|
공개 생성자
공개 메서드
| static LlmInference.LlmInferenceOptions.Builder |
builder()
새 LlmInferenceOptions 빌더를 인스턴스화합니다.
|
| 추상 선택<ErrorListener> |
errorListener()
ERROR(/LlmInference#generateAsync) API에 사용할 오류 리스너입니다. |
| 추상 선택사항<String> |
loraPath()
기기에 로컬로 저장된 LoRA 모델 애셋 번들의 절대 경로입니다.
|
| 추상 정수 |
maxTokens()
kv-캐시의 총 길이입니다.
|
| 추상 문자열 |
modelPath()
tflite 모델 파일을 가리키는 경로입니다.
|
| 추상 정수 |
randomSeed()
토큰 샘플링을 위한 랜덤 시드입니다.
|
| 추상 선택사항<ProgressListener<String>> |
resultListener()
ERROR(/LlmInference#generateAsync) API에 사용할 결과 리스너입니다. |
| 추상 부동 소수점 |
temperature()
다음 토큰을 디코딩할 때의 무작위성입니다.
|
| 추상 정수 |
topK()
각 디코딩 단계에서 샘플링될 상위 K개의 토큰 수입니다.
|
상속된 메서드
공개 생성자
공개 LlmInferenceOptions ()
공개 메서드
public summary 선택<ErrorListener> errorListener ()
ERROR(/LlmInference#generateAsync) API에 사용할 오류 리스너입니다.
public 추상화 int maxTokens ()
kv-캐시의 총 길이입니다. 즉, 모델이 처리해야 하는 입력 + 출력 토큰의 총 개수입니다.
public 추상화 int randomSeed ()
토큰 샘플링을 위한 랜덤 시드입니다.
public 추상화 선택사항<ProgressListener<String>> resultListener ()
ERROR(/LlmInference#generateAsync) API에 사용할 결과 리스너입니다.
public 추상 float temperature ()
다음 토큰을 디코딩할 때의 무작위성입니다. 0.0f 값은 그리디 디코딩을 의미합니다.
public 추상화 int topK ()
각 디코딩 단계에서 샘플링될 상위 K개의 토큰 수입니다. 값 1은 그리디 디코딩을 의미합니다.