lớp trừu tượng tĩnh công khai
LlmInference.LlmInferenceOptions
Các tuỳ chọn để thiết lập LlmInference.
Lớp lồng ghép
| lớp | LlmInference.LlmInferenceOptions.Builder | Trình tạo cho LlmInference.LlmInferenceOptions. |
|
Công trình công cộng
|
Hàm LlmInferenceOptions()
|
Phương thức công khai
| tĩnh LlmInference.LlmInferenceOptions.Builder |
trình tạo()
Tạo thực thể cho trình tạo LlmInferenceOptions mới.
|
| trừu tượng Không bắt buộc<ErrorListener> |
Hàm errorListener()
Trình nghe lỗi để sử dụng cho API
ERROR(/LlmInference#generateAsync). |
| trừu tượng Không bắt buộc<String> |
Hàm loraPath()
Đường dẫn tuyệt đối đến gói tài sản mô hình LoRA được lưu trữ trên thiết bị.
|
| trừu tượng int |
maxTokens()
Tổng chiều dài của kv-cache.
|
| trừu tượng Chuỗi |
modelPath()
Đường dẫn trỏ đến tệp mô hình tflite.
|
| trừu tượng int |
Hàm randomSeed()
Nội dung gốc ngẫu nhiên cho mã thông báo lấy mẫu.
|
| trừu tượng Không bắt buộc<ProgressListener<String>> |
Hàm resultListener()
Trình nghe kết quả để sử dụng cho API
ERROR(/LlmInference#generateAsync). |
| trừu tượng số thực có độ chính xác |
nhiệt độ()
Tính ngẫu nhiên khi giải mã mã thông báo tiếp theo.
|
| trừu tượng int |
topK()
Số lượng mã thông báo K hàng đầu được lấy mẫu cho mỗi bước giải mã.
|
Các phương thức kế thừa
Công trình công cộng
công khai LlmInferenceOptions ()
Phương thức công khai
công khai tĩnh LlmInference.LlmInferenceOptions.Builder trình tạo ()
Tạo thực thể cho trình tạo LlmInferenceOptions mới.
công khai trừu tượng Không bắt buộc<ErrorListener> errorListener ()
Trình nghe lỗi để sử dụng cho API ERROR(/LlmInference#generateAsync).
công khai trừu tượng Không bắt buộc<Chuỗi> loraPath ()
Đường dẫn tuyệt đối đến gói tài sản mô hình LoRA được lưu trữ trên thiết bị. Tính năng này chỉ tương thích với các mẫu GPU.
public abstract int maxTokens ()
Tổng chiều dài của kv-cache. Nói cách khác, đây là tổng số mã thông báo đầu vào + đầu ra mà mô hình cần xử lý.
public abstract int randomSeed ()
Nội dung gốc ngẫu nhiên cho mã thông báo lấy mẫu.
công khai trừu tượng Không bắt buộc<ProgressListener<Chuỗi>> resultListener ()
Trình nghe kết quả để sử dụng cho API ERROR(/LlmInference#generateAsync).
công khai trừu tượng float Nhiệt độ ()
Tính ngẫu nhiên khi giải mã mã thông báo tiếp theo. Giá trị 0,0f có nghĩa là giải mã tham lam.
public abstract int topK ()
Số lượng mã thông báo K hàng đầu được lấy mẫu cho mỗi bước giải mã. Giá trị 1 có nghĩa là quá trình giải mã tham lam.