搭配 LiteRT 的 Qualcomm NPU (AI Engine Direct)

LiteRT 通过编译模型 API 支持 Qualcomm AI Engine Direct (QNN)，适用于 AOT 和 JIT。本页面整合了之前位于 eap/ 下的供应商指南。

设置开发环境

Qualcomm AI Engine Direct 对开发环境有以下要求：

  • 操作系统：Ubuntu 22.04 LTS
  • 构建系统：Bazel 版本 7.4.1
  • 标准库：Libc++ 和 Libc++abi 16 及更高版本
  • 特定于平台的要求：
    • Android：
    • Android SDK：Android API 级别 34 (Android 14)。
    • Android NDK：支持 API 级别 28 (Android 9 Pie)。
    • IoT：即将推出。
    • Windows：即将推出。

您可以使用 Docker 快速设置系统来自动配置依赖项。

支持的操作

LiteRT 将广泛的运算集降至 QNN Hexagon Tensor Processor (HTP) 后端。同时支持 AOT 和设备端编译。请参阅支持的运算列表。

支持的 SoC

  • Snapdragon 8 Elite Gen 5 移动平台 (SM8850)
  • Snapdragon 8 Elite 移动平台 (SM8750)
  • Snapdragon 8 Gen 3 移动平台 (SM8650)
  • Snapdragon 8 Gen 2 移动平台 (SM8550)
  • Snapdragon 8+ Gen 1 移动平台 (SM8475)
  • Snapdragon 8 Gen 1 移动平台 (SM8450)

后续步骤

  1. 首先，请参阅统一的 NPU 指南：使用 LiteRT 进行 NPU 加速
  2. 按照其中的转化和部署步骤操作，并在适用情况下选择 Qualcomm。
  3. 对于 LLM，请参阅使用 LiteRT-LM 在 NPU 上执行 LLM。