LiteRT поддерживает Qualcomm AI Engine Direct (QNN) через API Compiled Model для AOT и JIT. Эта страница объединяет руководство поставщика, ранее находившееся в eap/ .
Настройка среды разработки
Qualcomm AI Engine Direct предъявляет следующие требования к среде разработки:
- Операционная система : Ubuntu 22.04 LTS
- Система сборки : Bazel версии 7.4.1
- Стандартные библиотеки : Libc++ и Libc++abi 16+
- Требования к конкретной платформе:
- Андроид:
- Android SDK : Android API уровня 34 (Android 14).
- Android NDK : поддержка API уровня 28 (Android 9 Pie).
- Интернет вещей : скоро.
- Windows : скоро.
Вы можете использовать быструю настройку системы с Docker для автоматической настройки зависимостей.
Поддерживаемые операции
LiteRT переносит широкий набор операций на бэкенд QNN Hexagon Tensor Processor (HTP). Поддерживаются как AOT, так и компиляция на устройстве. См. список поддерживаемых операций .
Поддерживаемые SoC
- Мобильная платформа Snapdragon 8 Elite Gen 5 (SM8850)
- Мобильная платформа Snapdragon 8 Elite (SM8750)
- Мобильная платформа Snapdragon 8 Gen 3 (SM8650)
- Мобильная платформа Snapdragon 8 Gen 2 (SM8550)
- Мобильная платформа Snapdragon 8+ Gen 1 (SM8475)
- Мобильная платформа Snapdragon 8 Gen 1 (SM8450)
Следующие шаги
- Начните с унифицированного руководства по NPU: ускорение NPU с LiteRT
- Следуйте инструкциям по конвертации и развертыванию, выбирая Qualcomm, где это применимо.
- Информацию о LLM см. в разделе Выполнение LLM на NPU с использованием LiteRT-LM .