LiteRT mbështet Qualcomm AI Engine Direct (QNN) përmes Compiled Model API për AOT dhe JIT. Kjo faqe konsolidon udhëzuesin e shitësit që më parë gjendej nën eap/ .
Konfiguroni mjedisin e zhvillimit
Qualcomm AI Engine Direct ka kërkesat e mëposhtme të mjedisit të zhvillimit:
- Sistemi Operativ : Ubuntu 22.04 LTS
- Sistemi i Ndërtimit : Bazel versioni 7.4.1
- Bibliotekat standarde : Libc++ dhe Libc++abi 16+
- Kërkesat specifike të platformës:
- Android:
- SDK për Android : Niveli 34 i API-t për Android (Android 14).
- Android NDK : Mbështetje për API Level 28 (Android 9 Pie).
- IoT : së shpejti.
- Windows : së shpejti.
Mund të përdorni konfigurimin e shpejtë të sistemit me Docker për të konfiguruar automatikisht varësitë.
Operacionet e mbështetura
LiteRT ul një grup të gjerë operacionesh në backend-in e QNN Hexagon Tensor Processor (HTP). Mbështetet si AOT ashtu edhe kompilimi në pajisje. Shihni listën e operacioneve të mbështetura .
SoC-të e mbështetura
- Platforma Mobile Snapdragon 8 Elite Gen 5 (SM8850)
- Platforma Mobile Snapdragon 8 Elite (SM8750)
- Platforma Mobile Snapdragon 8 Gen 3 (SM8650)
- Platforma Mobile Snapdragon 8 Gen 2 (SM8550)
- Platforma Mobile Snapdragon 8+ Gen 1 (SM8475)
- Platforma Mobile Snapdragon 8 Gen 1 (SM8450)
Hapat e ardhshëm
- Filloni me udhëzuesin e unifikuar të NPU-së: Përshpejtimi i NPU-së me LiteRT
- Ndiqni hapat e konvertimit dhe vendosjes atje, duke zgjedhur Qualcomm aty ku është e aplikueshme.
- Për LLM-të, shihni Ekzekutimi i LLM-ve në NPU duke përdorur LiteRT-LM .