LlmInference

lớp công khai LlmInference

API Java LlmInference Task

Lớp lồng ghép

lớp LlmInference.LlmInferenceOptions Các tuỳ chọn để thiết lập LlmInference.

Phương thức công khai

void	Hàm close() Đóng và dọn dẹp `LlmInference`.
tĩnh LlmInference	createFromOptions(Ngữ cảnh theo bối cảnh, các tuỳ chọn LlmInference.LlmInferenceOptions) Tạo một tác vụ LlmInference.
String	generateResponse(Chuỗi inputText) Tạo phản hồi dựa trên văn bản nhập.
void	generateResponseAsync(Chuỗi inputText) Tạo phản hồi dựa trên văn bản nhập.
int	sizeInTokens(văn bản Chuỗi) Chạy lệnh gọi chỉ mã hoá cho LLM và trả về kích thước (tính bằng mã thông báo) của kết quả.

Các phương thức kế thừa

Từ lớp java.lang.Object

boolean	bằng(Đối tượng arg0)
cuối cùng Lớp<?>	getClass()
int	hashCode()
cuối cùng vô hiệu	notify()
cuối cùng vô hiệu	notifyAll()
String	toString()
cuối cùng vô hiệu	wait(long arg0; int arg1)
cuối cùng vô hiệu	chờ(đối số dài0)
cuối cùng vô hiệu	wait()

Từ giao diện java.lang.AutoCloseable

trừu tượng trống

close()

Phương thức công khai

công khai void close ()

Đóng và dọn dẹp LlmInference.

công khai tĩnh LlmInference createFromOptions (Ngữ cảnh ngữ cảnh, LlmInference.LlmInferenceOptions tùy chọn)

Tạo một tác vụ LlmInference.

Tham số

bối cảnh
tùy chọn

công khai Chuỗi generateResponse (Chuỗi inputText)

Tạo phản hồi dựa trên văn bản nhập.

Tham số

inputText	`String` để xử lý.

Gửi

	nếu dự đoán thất bại.

công khai void generateResponseAsync (String inputText)

Tạo phản hồi dựa trên văn bản nhập.

Tham số

inputText	`String` để xử lý.

Gửi

	nếu dự đoán thất bại.

công khai int sizeInTokens (Chuỗi văn bản)

Chạy lệnh gọi chỉ mã hoá cho LLM và trả về kích thước (tính bằng mã thông báo) của kết quả. Không thể gọi khi truy vấn generateResponse(String) đang hoạt động. generateResponse

Tham số

văn bản	Văn bản cần mã hoá.

Giá trị trả về

Số mã thông báo trong quá trình mã hoá văn bản thu được.

Gửi

	nếu quá trình mã hoá không thành công.