MediaTek NPU (NeuroPilot) с LiteRT

LiteRT поддерживает MediaTek NeuroPilot через API CompiledModel как для компиляции AOT, так и для компиляции на устройстве.

Настройка среды разработки

  • Операционная система: Ubuntu 22.04 LTS
  • Система сборки: Bazel 7.4.1
  • Android SDK: API Level 34 (Android 14)
  • Android NDK: Поддержка API уровня 28 (Android 9 Pie)

Поддерживаемые SoC

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)
  • Dimensity 9300 (MT6989)
  • Dimensity 9400 (MT6991)

Следующие шаги

  1. Начните с единого руководства по NPU: ускорение NPU с помощью LiteRT.
  2. Следуйте инструкциям по преобразованию и развертыванию, указанным там, выбрав MediaTek, если это применимо.
  3. Для LLM-модулей см. раздел «Выполнение LLM-модулей на NPU с использованием LiteRT-LM» .