LiteRT obsługuje Qualcomm AI Engine Direct (QNN) za pomocą interfejsu Compiled Model API zarówno w przypadku kompilacji AOT, jak i JIT. Ta strona zawiera informacje dla dostawców, które wcześniej były dostępne pod adresem eap/.
Konfigurowanie środowiska programistycznego
Środowisko programistyczne Qualcomm AI Engine Direct musi spełniać te wymagania:
- System operacyjny: Ubuntu 22.04 LTS
- System kompilacji: Bazel w wersji 7.4.1
- Biblioteki standardowe: libc++ i libc++abi w wersji 16 lub nowszej
- Wymagania dotyczące poszczególnych platform:
- Android:
- Pakiet SDK na Androida: poziom API Androida 34 (Android 14).
- Android NDK: obsługa interfejsu API na poziomie 28 (Android 9 Pie).
- IoT już wkrótce.
- Windows: już wkrótce.
Aby automatycznie skonfigurować zależności, możesz skorzystać z szybkiej konfiguracji systemu za pomocą Dockera.
Obsługiwane operacje
LiteRT obniża szeroki zakres operacji do backendu QNN Hexagon Tensor Processor (HTP). Obsługiwane są zarówno kompilacja AOT, jak i kompilacja na urządzeniu. Zobacz listę obsługiwanych operacji.
Obsługiwane układy SoC
- Snapdragon 8 Elite 5 generacji (SM8850)
- Platforma mobilna Snapdragon 8 Elite (SM8750)
- Snapdragon 8 (3 generacji) Mobile Platform (SM8650)
- Snapdragon 8 (2 generacji) (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 (1 generacji) (SM8450)
Dalsze kroki
- Zacznij od ujednoliconego przewodnika po NPU: Akceleracja NPU za pomocą LiteRT
- Postępuj zgodnie z instrukcjami dotyczącymi konwersji i wdrażania, wybierając w odpowiednich miejscach Qualcomm.
- W przypadku dużych modeli językowych zapoznaj się z artykułem Uruchamianie dużych modeli językowych na NPU za pomocą LiteRT-LM.