LiteRT hỗ trợ Qualcomm AI Engine Direct (QNN) thông qua API CompiledModel cho cả quy trình biên dịch AOT và trên thiết bị.
Thiết lập môi trường phát triển
Qualcomm AI Engine Direct có các yêu cầu sau đây đối với môi trường phát triển:
- Hệ điều hành: Ubuntu 22.04 LTS
- Hệ thống xây dựng: Bazel phiên bản 7.4.1
- Thư viện chuẩn: Libc++ và Libc++abi 16 trở lên
- Yêu cầu cụ thể theo nền tảng:
- Android:
- SDK Android: Android API cấp 34 (Android 14).
- Android NDK: Hỗ trợ API cấp 28 (Android 9 Pie).
- IoT: sắp ra mắt.
- Windows: sắp ra mắt.
Bạn có thể sử dụng Thiết lập hệ thống nhanh bằng Docker để tự động định cấu hình các phần phụ thuộc.
Thao tác được hỗ trợ
LiteRT giảm một loạt các hoạt động xuống phần phụ trợ Bộ xử lý tensor Hexagon (HTP) QNN. Cả AOT và quá trình biên dịch trên thiết bị đều được hỗ trợ. Xem danh sách các thao tác được hỗ trợ.
Các SoC được hỗ trợ
- Nền tảng di động Snapdragon 8 Elite Gen 5 (SM8850)
- Nền tảng di động Snapdragon 8 Elite (SM8750)
- Nền tảng di động Snapdragon 8 Gen 3 (SM8650)
- Nền tảng di động Snapdragon 8 Gen 2 (SM8550)
- Nền tảng di động Snapdragon 8+ Gen 1 (SM8475)
- Nền tảng di động Snapdragon 8 Gen 1 (SM8450)
Các bước tiếp theo
- Bắt đầu với hướng dẫn NPU thống nhất: Tăng tốc NPU bằng LiteRT
- Làm theo các bước chuyển đổi và triển khai tại đó, chọn Qualcomm nếu có thể.
- Đối với LLM, hãy xem phần Thực thi LLM trên NPU bằng LiteRT-LM.