LiteRT est compatible avec Qualcomm AI Engine Direct (QNN) via l'API Compiled Model pour AOT et JIT. Cette page regroupe le guide du fournisseur qui se trouvait auparavant sous eap/.
Configurer l'environnement de développement
L'environnement de développement Qualcomm AI Engine Direct doit répondre aux exigences suivantes :
- Système d'exploitation : Ubuntu 22.04 LTS
- Système de compilation : Bazel version 7.4.1
- Bibliothèques standards : Libc++ et Libc++abi 16 ou version ultérieure
- Exigences spécifiques aux plates-formes :
- Android :
- SDK Android : niveau d'API Android 34 (Android 14).
- Android NDK : compatibilité avec le niveau d'API 28 (Android 9 Pie).
- IoT : bientôt disponible.
- Windows : bientôt disponible.
Vous pouvez utiliser la configuration rapide du système avec Docker pour configurer automatiquement les dépendances.
Opérations compatibles
LiteRT abaisse un large éventail d'opérations au backend QNN Hexagon Tensor Processor (HTP). La compilation AOT et sur l'appareil sont prises en charge. Consultez la liste des opérations compatibles.
SoC compatibles
- Plate-forme mobile Snapdragon 8 Elite Gen 5 (SM8850)
- Plate-forme mobile Snapdragon 8 Elite (SM8750)
- Plate-forme mobile Snapdragon 8 Gen 3 (SM8650)
- Plate-forme mobile Snapdragon 8 Gen 2 (SM8550)
- Plate-forme mobile Snapdragon 8+ Gen 1 (SM8475)
- Plate-forme mobile Snapdragon 8 Gen 1 (SM8450)
Étapes suivantes
- Commencez par le guide unifié sur les NPU : Accélération des NPU avec LiteRT
- Suivez les étapes de conversion et de déploiement, en choisissant Qualcomm le cas échéant.
- Pour les LLM, consultez Exécuter des LLM sur NPU à l'aide de LiteRT-LM.