O LiteRT é compatível com o Qualcomm AI Engine Direct (QNN) pela API Compiled Model
para AOT e JIT. Esta página consolida o guia do fornecedor que estava em
eap/.
Configurar o ambiente de desenvolvimento
O Qualcomm AI Engine Direct tem os seguintes requisitos de ambiente de desenvolvimento:
- Sistema operacional: Ubuntu 22.04 LTS
- Sistema de build: Bazel versão 7.4.1
- Bibliotecas padrão: Libc++ e Libc++abi 16 ou mais recente
- Requisitos específicos da plataforma:
- Android:
- SDK do Android: nível 34 da API do Android (Android 14).
- NDK do Android: suporte ao nível 28 da API (Android 9 Pie).
- IoT: em breve.
- Windows: em breve.
Use a configuração rápida do sistema com o Docker para configurar dependências automaticamente.
Operações compatíveis
O LiteRT reduz um amplo conjunto de operações para o back-end do processador de tensor Hexagon (HTP) da QNN. A compilação AOT e no dispositivo são compatíveis. Consulte a lista de operações compatíveis.
SoCs compatíveis
- Plataforma móvel Snapdragon 8 Elite Gen 5 (SM8850)
- Plataforma móvel Snapdragon 8 Elite (SM8750)
- Plataforma móvel Snapdragon 8 Gen 3 (SM8650)
- Plataforma móvel Snapdragon 8 Gen 2 (SM8550)
- Plataforma móvel Snapdragon 8+ Gen 1 (SM8475)
- Plataforma móvel Snapdragon 8 Gen 1 (SM8450)
Próximas etapas
- Comece com o guia unificado de NPU: Aceleração de NPU com LiteRT
- Siga as etapas de conversão e implantação, escolhendo Qualcomm quando aplicável.
- Para LLMs, consulte Executar LLMs em NPUs usando o LiteRT-LM.