MediaTek NPU (NeuroPilot) 搭配 LiteRT

LiteRT 透過 CompiledModel API 支援 MediaTek NeuroPilot，適用於 AOT 和裝置端編譯。

設定開發環境

  • 作業系統：Ubuntu 22.04 LTS
  • 建構系統：Bazel 7.4.1
  • Android SDK：API 級別 34 (Android 14)
  • Android NDK：支援 API 級別 28 (Android 9 Pie)

支援的 SoC

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)
  • 天璣 9000 (MT6983)
  • 天璣 9200 (MT6985)
  • 天璣 9300 (MT6989)
  • 天璣 9400 (MT6991)

後續步驟

  1. 請先參閱統整式 NPU 指南：使用 LiteRT 進行 NPU 加速
  2. 按照該頁面的轉換和部署步驟操作，並在適用情況下選擇 MediaTek。
  3. 如要瞭解如何使用 LiteRT-LM 在 NPU 上執行 LLM，請參閱這篇文章。