LiteRT unterstützt Qualcomm AI Engine Direct (QNN) über die CompiledModel API für die AOT- und die On-Device-Kompilierung.
Entwicklungsumgebung einrichten
Für Qualcomm AI Engine Direct gelten die folgenden Anforderungen an die Entwicklungsumgebung:
- Betriebssystem: Ubuntu 22.04 LTS
- Build-System: Bazel-Version 7.4.1
- Standardbibliotheken: Libc++ und Libc++abi 16+
- Plattformspezifische Anforderungen:
- Android:
- Android SDK: Android API-Level 34 (Android 14).
- Android NDK: Unterstützung für API-Level 28 (Android 9 Pie).
- IoT: Demnächst verfügbar.
- Windows: Bald verfügbar.
Sie können die schnelle Systemeinrichtung mit Docker verwenden, um Abhängigkeiten automatisch zu konfigurieren.
Unterstützte Vorgänge
LiteRT lagert eine Vielzahl von Vorgängen an das QNN HTP-Backend (Hexagon Tensor Processor) aus. Sowohl AOT- als auch On-Device-Kompilierung werden unterstützt. Liste der unterstützten Vorgänge
Unterstützte SoCs
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Snapdragon 8 Elite Mobile Platform (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
Nächste Schritte
- Beginnen Sie mit dem einheitlichen NPU-Leitfaden: NPU-Beschleunigung mit LiteRT
- Folgen Sie der Anleitung zur Konvertierung und Bereitstellung und wählen Sie bei Bedarf Qualcomm aus.
- Informationen zu LLMs finden Sie unter LLMs auf NPU mit LiteRT-LM ausführen.