LiteRT est compatible avec Qualcomm AI Engine Direct (QNN) via l'API CompiledModel pour la compilation AOT et sur l'appareil.
Configurer l'environnement de développement
L'environnement de développement Qualcomm AI Engine Direct doit répondre aux exigences suivantes :
- Système d'exploitation : Ubuntu 22.04 LTS
- Système de compilation : Bazel version 7.4.1
- Bibliothèques standards : Libc++ et Libc++abi 16 ou version ultérieure
- Exigences spécifiques aux plates-formes :
- Android :
- SDK Android : niveau d'API Android 34 (Android 14).
- Android NDK : compatibilité avec le niveau d'API 28 (Android 9 Pie).
- IoT : bientôt disponible.
- Windows : bientôt disponible.
Vous pouvez utiliser la configuration système rapide avec Docker pour configurer automatiquement les dépendances.
Opérations compatibles
LiteRT abaisse un large éventail d'opérations au backend QNN Hexagon Tensor Processor (HTP). La compilation AOT et sur l'appareil sont toutes deux prises en charge. Consultez la liste des opérations compatibles.
SoC compatibles
- Plate-forme mobile Snapdragon 8 Elite Gen 5 (SM8850)
- Plate-forme mobile Snapdragon 8 Elite (SM8750)
- Plate-forme mobile Snapdragon 8 Gen 3 (SM8650)
- Plate-forme mobile Snapdragon 8 Gen 2 (SM8550)
- Plate-forme mobile Snapdragon 8+ Gen 1 (SM8475)
- Plate-forme mobile Snapdragon 8 Gen 1 (SM8450)
Étapes suivantes
- Commencez par le guide unifié sur les NPU : Accélération des NPU avec LiteRT
- Suivez les étapes de conversion et de déploiement, en choisissant Qualcomm le cas échéant.
- Pour les LLM, consultez Exécuter des LLM sur NPU à l'aide de LiteRT-LM.