LiteRT を搭載した Qualcomm NPU（AI Engine Direct）

LiteRT は、AOT と JIT の両方で Compiled Model API を通じて Qualcomm AI Engine Direct（QNN）をサポートしています。このページでは、以前 eap/ で公開されていたベンダーガイドを統合しています。

開発環境をセットアップする

Qualcomm AI Engine Direct には、次の開発環境の要件があります。

  • オペレーティング システム: Ubuntu 22.04 LTS
  • ビルドシステム: Bazel バージョン 7.4.1
  • 標準ライブラリ: Libc++ と Libc++abi 16 以降
  • プラットフォーム固有の要件:
    • Android:
    • Android SDK: Android API レベル 34（Android 14）。
    • Android NDK: API レベル 28（Android 9 Pie）のサポート。
    • IoT: 近日提供予定。
    • Windows: 近日提供予定。

Docker を使用したクイック システム設定を使用して、依存関係を自動的に構成できます。

サポートされているオペレーション

LiteRT は、幅広いオペレーションを QNN Hexagon Tensor Processor（HTP）バックエンドに下げます。AOT とデバイス上でのコンパイルの両方がサポートされています。サポートされているオペレーションのリストをご覧ください。

サポートされている SoC

  • Snapdragon 8 Elite Gen 5 モバイル プラットフォーム（SM8850）
  • Snapdragon 8 Elite モバイル プラットフォーム（SM8750）
  • Snapdragon 8 Gen 3 モバイル プラットフォーム（SM8650）
  • Snapdragon 8 Gen 2 モバイル プラットフォーム（SM8550）
  • Snapdragon 8+ Gen 1 モバイル プラットフォーム（SM8475）
  • Snapdragon 8 Gen 1 モバイル プラットフォーム（SM8450）

次のステップ

  1. 統合 NPU ガイド: LiteRT による NPU アクセラレーションから始めます。
  2. 該当する場合は Qualcomm を選択して、コンバージョンとデプロイの手順に沿って操作します。
  3. LLM については、LiteRT-LM を使用して NPU で LLM を実行するをご覧ください。