คลาสสาธารณะ
LlmInference
Java API งาน LlmInference
ชั้นเรียนที่ซ้อนกัน
คลาส | LlmInference.LlmInferenceOptions | ตัวเลือกในการตั้งค่าLlmInference |
วิธีการสาธารณะ
void |
close()
ปิดและล้าง
LlmInference |
ภาพนิ่ง LlmInference | |
String | |
void | |
int |
sizeInTokens(ข้อความ สตริง)
เรียกใช้การเรียกใช้เฉพาะการแปลงข้อมูลเป็นโทเค็นสำหรับ LLM และแสดงผลขนาด (ในโทเค็น) ของผลลัพธ์
|
วิธีการที่รับช่วงมา
วิธีการสาธารณะ
สาธารณะ แบบคงที่ LlmInference createFromOptions (บริบทบริบท, ตัวเลือก LlmInference.LlmInferenceOptions)
สร้างงาน LlmInference
พารามิเตอร์
บริบท | |
---|---|
ตัวเลือก |
สาธารณะ สตริง generateResponse (สตริงอินพุตText)
สร้างคำตอบตามข้อความที่ป้อน
พารามิเตอร์
inputText | String สำหรับการประมวลผล |
---|
การขว้าง
ถ้าการอนุมานล้มเหลว |
สาธารณะ void generateResponseAsync (String ให้ป้อนText)
สร้างคำตอบตามข้อความที่ป้อน
พารามิเตอร์
inputText | String สำหรับการประมวลผล |
---|
การขว้าง
ถ้าการอนุมานล้มเหลว |
สาธารณะ int sizeInTokens (ข้อความ String)
เรียกใช้การเรียกใช้เฉพาะการแปลงข้อมูลเป็นโทเค็นสำหรับ LLM และแสดงผลขนาด (ในโทเค็น) ของผลลัพธ์ เรียกไม่ได้ในขณะที่มีการใช้งานการค้นหา generateResponse(String)
อยู่ generateResponse
พารามิเตอร์
ข้อความ | ข้อความที่จะแปลงเป็นโทเค็น |
---|
การคืนสินค้า
- จำนวนโทเค็นในการแปลงข้อความเป็นโทเค็นที่เป็นผลลัพธ์ของ
การขว้าง
หากการแปลงข้อมูลเป็นโทเค็นล้มเหลว |