LiteRT supporta Qualcomm AI Engine Direct (QNN) tramite l'API Compiled Model
sia per AOT che per JIT. Questa pagina consolida la guida per i fornitori precedentemente disponibile
all'indirizzo eap/.
Configura l'ambiente di sviluppo
Qualcomm AI Engine Direct ha i seguenti requisiti per l'ambiente di sviluppo:
- Sistema operativo: Ubuntu 22.04 LTS
- Sistema di compilazione: Bazel versione 7.4.1
- Librerie standard: Libc++ e Libc++abi 16+
- Requisiti specifici della piattaforma:
- Android:
- SDK per Android: livello API Android 34 (Android 14).
- Android NDK: supporto del livello API 28 (Android 9 Pie).
- IoT: disponibile a breve.
- Windows: disponibile a breve.
Puoi utilizzare la configurazione rapida del sistema con Docker per configurare automaticamente le dipendenze.
Operazioni supportate
LiteRT abbassa un ampio insieme di operazioni al backend QNN Hexagon Tensor Processor (HTP). Sono supportati sia la compilazione AOT che quella on-device. Consulta l'elenco delle operazioni supportate.
SoC supportati
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Snapdragon 8 Elite Mobile Platform (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
Passaggi successivi
- Inizia con la guida NPU unificata: Accelerazione NPU con LiteRT
- Segui i passaggi per la conversione e l'implementazione, scegliendo Qualcomm dove applicabile.
- Per i LLM, vedi Eseguire LLM sulla NPU utilizzando LiteRT-LM.