MediaTek NPU (NeuroPilot) 搭配 LiteRT

LiteRT 支援透過 CompiledModel API 進行 AOT 和裝置端編譯的 MediaTek NeuroPilot。

設定開發環境

  • 作業系統：Ubuntu 22.04 LTS
  • 建構系統：Bazel 7.4.1
  • Android SDK：API 級別 34 (Android 14)
  • Android NDK：支援 API 級別 28 (Android 9 Pie)

支援的 SoC

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • 天璣 9200 (MT6985)
  • Dimensity 9300 (MT6989)
  • 天璣 9400 (MT6991)
  • Dimensity 9500 (MT6990)

後續步驟

  1. 請先參閱統整式 NPU 指南：使用 LiteRT 進行 NPU 加速
  2. 請按照該處的轉換和部署步驟操作，並視情況選擇 MediaTek。
  3. 如要瞭解如何使用 LiteRT-LM 在 NPU 上執行 LLM，請參閱這篇文章。