LiteRT supporta Qualcomm AI Engine Direct (QNN) tramite l'API CompiledModel
per la compilazione AOT e sul dispositivo.
Configura l'ambiente di sviluppo
Qualcomm AI Engine Direct ha i seguenti requisiti per l'ambiente di sviluppo:
- Sistema operativo: Ubuntu 22.04 LTS
- Sistema di compilazione: Bazel versione 7.4.1
- Librerie standard: Libc++ e Libc++abi 16+
- Requisiti specifici della piattaforma:
- Android:
- SDK per Android: livello API Android 34 (Android 14).
- Android NDK: supporto del livello API 28 (Android 9 Pie).
- IoT: disponibile a breve.
- Windows: disponibile a breve.
Puoi utilizzare la configurazione rapida del sistema con Docker per configurare automaticamente le dipendenze.
Operazioni supportate
LiteRT abbassa un ampio insieme di operazioni al backend QNN Hexagon Tensor Processor (HTP). Sono supportate sia la compilazione AOT che quella on-device. Consulta l'elenco delle operazioni supportate.
SoC supportati
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Piattaforma mobile Snapdragon 8 Elite (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Piattaforma mobile Snapdragon 8+ Gen 1 (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
Passaggi successivi
- Inizia con la guida NPU unificata: Accelerazione NPU con LiteRT
- Segui i passaggi per la conversione e l'implementazione, scegliendo Qualcomm dove applicabile.
- Per i LLM, consulta Eseguire LLM sulla NPU utilizzando LiteRT-LM.