搭配 LiteRT 的 Qualcomm NPU (AI Engine Direct)

LiteRT 透過 Compiled Model API 支援 Qualcomm AI Engine Direct (QNN)，適用於 AOT 和 JIT。本頁面整合了先前位於 eap/ 的供應商指南。

設定開發環境

Qualcomm AI Engine Direct 的開發環境必須符合下列需求：

  • 作業系統：Ubuntu 22.04 LTS
  • 建構系統：Bazel 7.4.1 版
  • 標準程式庫：Libc++ 和 Libc++abi 16 以上版本
  • 平台專屬規定：
    • Android：
    • Android SDK：Android API 級別 34 (Android 14)。
    • Android NDK：支援 API 級別 28 (Android 9 Pie)。
    • IoT：即將推出。
    • Windows：即將推出。

您可以使用 Docker 快速設定系統，自動設定依附元件。

支援作業

LiteRT 會將一組廣泛的作業降級至 QNN Hexagon Tensor Processor (HTP) 後端。支援 AOT 和裝置端編譯。請參閱支援的作業清單。

支援的 SoC

  • Snapdragon 8 Elite Gen 5 行動平台 (SM8850)
  • Snapdragon 8 Elite 行動平台 (SM8750)
  • Snapdragon 8 Gen 3 行動平台 (SM8650)
  • Snapdragon 8 Gen 2 行動平台 (SM8550)
  • Snapdragon 8+ Gen 1 行動平台 (SM8475)
  • Snapdragon 8 Gen 1 行動平台 (SM8450)

後續步驟

  1. 請先參閱統整式 NPU 指南：使用 LiteRT 進行 NPU 加速
  2. 按照該頁面的轉換和部署步驟操作，並視需要選擇 Qualcomm。
  3. 如為 LLM，請參閱「使用 LiteRT-LM 在 NPU 上執行 LLM」。