LiteRT admite Qualcomm AI Engine Direct (QNN) a través de la API de Compiled Model para AOT y JIT. En esta página, se consolida la guía del proveedor que se encontraba anteriormente en eap/.
Cómo configurar el entorno de desarrollo
Qualcomm AI Engine Direct tiene los siguientes requisitos de entorno de desarrollo:
- Sistema operativo: Ubuntu 22.04 LTS
- Sistema de compilación: Bazel versión 7.4.1
- Bibliotecas estándar: Libc++ y Libc++abi 16 o versiones posteriores
- Requisitos específicos de la plataforma:
- Android:
- SDK de Android: Nivel de API 34 de Android (Android 14).
- NDK de Android: Se agregó compatibilidad con el nivel de API 28 (Android 9 Pie).
- IoT: Disponible próximamente.
- Windows: Próximamente.
Puedes usar la configuración rápida del sistema con Docker para configurar las dependencias automáticamente.
Operaciones admitidas
LiteRT reduce un amplio conjunto de operaciones al backend del procesador de tensores Hexagon (HTP) de la QNN. Se admiten la compilación AOT y la compilación en el dispositivo. Consulta la lista de operaciones compatibles.
SoCs compatibles
- Plataforma móvil Snapdragon 8 Elite Gen 5 (SM8850)
- Plataforma móvil Snapdragon 8 Elite (SM8750)
- Plataforma móvil Snapdragon 8 Gen 3 (SM8650)
- Plataforma móvil Snapdragon 8 Gen 2 (SM8550)
- Plataforma móvil Snapdragon 8+ Gen 1 (SM8475)
- Plataforma móvil Snapdragon 8 Gen 1 (SM8450)
Próximos pasos
- Comienza con la guía unificada de la NPU: Aceleración de la NPU con LiteRT
- Sigue los pasos de conversión y la implementación que se indican allí, y elige Qualcomm cuando corresponda.
- En el caso de los LLM, consulta Cómo ejecutar LLM en la NPU con LiteRT-LM.