LiteRT รองรับ Qualcomm AI Engine Direct (QNN) ผ่าน Compiled Model API
สำหรับทั้ง AOT และ JIT หน้านี้รวมคู่มือผู้ให้บริการที่ก่อนหน้านี้อยู่ในส่วน
eap/
ตั้งค่าสภาพแวดล้อมในการพัฒนา
Qualcomm AI Engine Direct มีข้อกำหนดด้านสภาพแวดล้อมการพัฒนาต่อไปนี้
- ระบบปฏิบัติการ: Ubuntu 22.04 LTS
- ระบบบิลด์: Bazel เวอร์ชัน 7.4.1
- ไลบรารีมาตรฐาน: Libc++ และ Libc++abi 16 ขึ้นไป
- ข้อกำหนดเฉพาะของแพลตฟอร์ม:
- Android:
- Android SDK: Android API ระดับ 34 (Android 14)
- Android NDK: รองรับ API ระดับ 28 (Android 9 Pie)
- IoT: เร็วๆ นี้
- Windows: เร็วๆ นี้
คุณใช้การตั้งค่าระบบอย่างรวดเร็วด้วย Docker เพื่อกำหนดค่า การอ้างอิงโดยอัตโนมัติได้
การดำเนินการที่รองรับ
LiteRT จะลดชุดการดำเนินการที่หลากหลายลงเป็นแบ็กเอนด์ QNN Hexagon Tensor Processor (HTP) รองรับทั้ง AOT และการคอมไพล์ในอุปกรณ์ ดูรายการ การดำเนินการที่รองรับ
SoC ที่รองรับ
- แพลตฟอร์มมือถือ Snapdragon 8 Elite Gen 5 (SM8850)
- แพลตฟอร์มอุปกรณ์เคลื่อนที่ Snapdragon 8 Elite (SM8750)
- แพลตฟอร์มมือถือ Snapdragon 8 Gen 3 (SM8650)
- แพลตฟอร์มมือถือ Snapdragon 8 Gen 2 (SM8550)
- แพลตฟอร์มมือถือ Snapdragon 8+ Gen 1 (SM8475)
- แพลตฟอร์มมือถือ Snapdragon 8 Gen 1 (SM8450)
ขั้นตอนถัดไป
- เริ่มต้นด้วยคำแนะนำเกี่ยวกับ NPU แบบรวม: การเร่งความเร็ว NPU ด้วย LiteRT
- ทําตามขั้นตอนการแปลงและการติดตั้งใช้งานที่นั่น โดยเลือก Qualcomm เมื่อ เกี่ยวข้อง
- สำหรับ LLM โปรดดูเรียกใช้ LLM บน NPU โดยใช้ LiteRT-LM