LiteRT unterstützt Qualcomm AI Engine Direct (QNN) über die Compiled Model API sowohl für AOT als auch für JIT. Auf dieser Seite wird der Anbieterleitfaden zusammengefasst, der sich zuvor unter eap/ befand.
Entwicklungsumgebung einrichten
Für Qualcomm AI Engine Direct gelten die folgenden Anforderungen an die Entwicklungsumgebung:
- Betriebssystem: Ubuntu 22.04 LTS
- Build-System: Bazel-Version 7.4.1
- Standardbibliotheken: Libc++ und Libc++abi 16+
- Plattformspezifische Anforderungen:
- Android:
- Android SDK: Android API-Level 34 (Android 14).
- Android NDK: Unterstützung für API-Level 28 (Android 9 Pie).
- IoT: Demnächst verfügbar.
- Windows: Bald verfügbar.
Sie können die schnelle Systemeinrichtung mit Docker verwenden, um Abhängigkeiten automatisch zu konfigurieren.
Unterstützte Vorgänge
LiteRT lagert eine Vielzahl von Vorgängen an das QNN HTP-Backend (Hexagon Tensor Processor) aus. Sowohl AOT- als auch On-Device-Kompilierung werden unterstützt. Liste der unterstützten Vorgänge
Unterstützte SoCs
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Snapdragon 8 Elite Mobile Platform (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
Nächste Schritte
- Beginnen Sie mit dem einheitlichen NPU-Leitfaden: NPU-Beschleunigung mit LiteRT
- Folgen Sie der Anleitung zur Konvertierung und Bereitstellung und wählen Sie bei Bedarf Qualcomm aus.
- Informationen zu LLMs finden Sie unter LLMs auf NPU mit LiteRT-LM ausführen.