LiteRT hỗ trợ Qualcomm AI Engine Direct (QNN) thông qua Compiled Model API cho cả AOT và JIT. Trang này hợp nhất hướng dẫn dành cho nhà cung cấp trước đây trong phần eap/.
Thiết lập môi trường phát triển
Qualcomm AI Engine Direct có các yêu cầu sau đây đối với môi trường phát triển:
- Hệ điều hành: Ubuntu 22.04 LTS
- Hệ thống xây dựng: Bazel phiên bản 7.4.1
- Thư viện chuẩn: Libc++ và Libc++abi 16 trở lên
- Yêu cầu cụ thể theo nền tảng:
- Android:
- SDK Android: Android API cấp 34 (Android 14).
- Android NDK: Hỗ trợ API cấp 28 (Android 9 Pie).
- IoT: sắp ra mắt.
- Windows: sắp ra mắt.
Bạn có thể sử dụng Thiết lập hệ thống nhanh bằng Docker để tự động định cấu hình các phần phụ thuộc.
Thao tác được hỗ trợ
LiteRT giảm một loạt các hoạt động xuống phần phụ trợ Bộ xử lý tensor Hexagon (HTP) QNN. Cả AOT và quy trình biên dịch trên thiết bị đều được hỗ trợ. Xem danh sách các thao tác được hỗ trợ.
Các SoC được hỗ trợ
- Nền tảng di động Snapdragon 8 Elite Gen 5 (SM8850)
- Nền tảng di động Snapdragon 8 Elite (SM8750)
- Nền tảng di động Snapdragon 8 Gen 3 (SM8650)
- Nền tảng di động Snapdragon 8 Gen 2 (SM8550)
- Nền tảng di động Snapdragon 8+ Gen 1 (SM8475)
- Nền tảng di động Snapdragon 8 Gen 1 (SM8450)
Các bước tiếp theo
- Bắt đầu với hướng dẫn NPU hợp nhất: Tăng tốc NPU bằng LiteRT
- Làm theo các bước chuyển đổi và triển khai tại đó, chọn Qualcomm nếu có thể.
- Đối với LLM, hãy xem phần Thực thi LLM trên NPU bằng LiteRT-LM.