LiteRT obsługuje Qualcomm AI Engine Direct (QNN) za pomocą interfejsu CompiledModel API zarówno w przypadku kompilacji AOT, jak i kompilacji na urządzeniu.
Konfigurowanie środowiska programistycznego
Qualcomm AI Engine Direct ma te wymagania dotyczące środowiska programistycznego:
- System operacyjny: Ubuntu 22.04 LTS
- System kompilacji: Bazel w wersji 7.4.1
- Biblioteki standardowe: Libc++ i Libc++abi w wersji 16 lub nowszej
- Wymagania dotyczące poszczególnych platform:
- Android:
- Pakiet SDK na Androida: poziom API Androida 34 (Android 14).
- Android NDK: obsługa interfejsu API na poziomie 28 (Android 9 Pie).
- IoT już wkrótce.
- Windows: już wkrótce.
Aby automatycznie skonfigurować zależności, możesz skorzystać z szybkiej konfiguracji systemu za pomocą Dockera.
Obsługiwane operacje
LiteRT obniża szeroki zakres operacji do backendu QNN Hexagon Tensor Processor (HTP). Obsługiwane są zarówno kompilacja AOT, jak i kompilacja na urządzeniu. Zobacz listę obsługiwanych operacji.
Obsługiwane układy SoC
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Platforma mobilna Snapdragon 8 Elite (SM8750)
- Platforma mobilna Snapdragon 8 Gen 3 (SM8650)
- Snapdragon 8 (2 generacji) (SM8550)
- Platforma mobilna Snapdragon 8+ Gen 1 (SM8475)
- Snapdragon 8 (1 generacji) Mobile Platform (SM8450)
Dalsze kroki
- Zacznij od ujednoliconego przewodnika po NPU: Akceleracja NPU za pomocą LiteRT
- Postępuj zgodnie z instrukcjami dotyczącymi konwersji i wdrażania, wybierając w odpowiednich miejscach Qualcomm.
- W przypadku dużych modeli językowych zapoznaj się z artykułem Uruchamianie dużych modeli językowych na procesorze NPU za pomocą LiteRT-LM.