LiteRT mendukung Qualcomm AI Engine Direct (QNN) melalui Compiled Model API untuk AOT dan JIT. Halaman ini menggabungkan panduan vendor yang sebelumnya berada di bagian
eap/.
Menyiapkan lingkungan pengembangan
Qualcomm AI Engine Direct memiliki persyaratan lingkungan pengembangan berikut:
- Sistem Operasi: Ubuntu 22.04 LTS
- Sistem Build: Bazel versi 7.4.1
- Library standar: Libc++ dan Libc++abi 16+
- Persyaratan Khusus Platform:
- Android:
- Android SDK: Android API Level 34 (Android 14).
- Android NDK: Dukungan untuk Level API 28 (Android 9 Pie).
- IoT: segera hadir.
- Windows: segera hadir.
Anda dapat menggunakan Penyiapan sistem cepat dengan Docker untuk mengonfigurasi dependensi secara otomatis.
Operasi yang didukung
LiteRT menurunkan serangkaian operasi yang luas ke backend QNN Hexagon Tensor Processor (HTP). Kompilasi AOT dan di perangkat didukung. Lihat daftar opsi yang didukung.
SoC yang didukung
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Snapdragon 8 Elite Mobile Platform (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
Langkah berikutnya
- Mulai dengan panduan NPU terpadu: Percepatan NPU dengan LiteRT
- Ikuti langkah-langkah konversi dan deployment di sana, dengan memilih Qualcomm jika berlaku.
- Untuk LLM, lihat Menjalankan LLM di NPU menggunakan LiteRT-LM.