LiteRT поддерживает Qualcomm AI Engine Direct (QNN) через API CompiledModel как для компиляции AOT, так и для компиляции на устройстве.
Настройка среды разработки
Для среды разработки Qualcomm AI Engine Direct требуются следующие параметры:
- Операционная система : Ubuntu 22.04 LTS
- Система сборки : Bazel версии 7.4.1
- Стандартные библиотеки : Libc++ и Libc++abi 16+
- Требования, специфичные для платформы:
- Android:
- Android SDK : Android API Level 34 (Android 14).
- Android NDK : Поддержка API уровня 28 (Android 9 Pie).
- Интернет вещей : скоро в продаже.
- Windows : скоро будет доступно.
С помощью функции быстрой настройки системы Docker вы можете автоматически настроить зависимости.
Поддерживаемые операции
LiteRT переводит широкий набор операций на бэкенд QNN Hexagon Tensor Processor (HTP). Поддерживаются как компиляция AOT, так и компиляция на устройстве. См. список поддерживаемых операций .
Поддерживаемые SoC
- Мобильная платформа Snapdragon 8 Elite Gen 5 (SM8850)
- Мобильная платформа Snapdragon 8 Elite (SM8750)
- Мобильная платформа Snapdragon 8 Gen 3 (SM8650)
- Мобильная платформа Snapdragon 8 Gen 2 (SM8550)
- Мобильная платформа Snapdragon 8+ первого поколения (SM8475)
- Мобильная платформа Snapdragon 8 первого поколения (SM8450)
Следующие шаги
- Начните с единого руководства по NPU: ускорение NPU с помощью LiteRT.
- Следуйте инструкциям по преобразованию и развертыванию, указанным там, выбрав Qualcomm, где это применимо.
- Для LLM-модулей см. раздел «Выполнение LLM-модулей на NPU с использованием LiteRT-LM» .