MediaTek NPU (NeuroPilot) с LiteRT

LiteRT поддерживает MediaTek NeuroPilot через API скомпилированной модели как для AOT, так и для компиляции на устройстве.

Настройка среды разработки

  • Операционная система: Ubuntu 22.04 LTS
  • Система сборки: Bazel 7.4.1
  • Android SDK: API уровня 34 (Android 14)
  • Android NDK: поддержка API уровня 28 (Android 9 Pie)

Поддерживаемые SoC

  • Размерность 7300 (MT6878)
  • Размерность 8300 (MT6897)
  • Размерность 9000 (MT6983)
  • Размерность 9200 (MT6985)
  • Размерность 9300 (MT6989)
  • Размерность 9400 (MT6991)

Следующие шаги

  1. Начните с унифицированного руководства по NPU: ускорение NPU с LiteRT
  2. Следуйте инструкциям по конвертации и развертыванию, выбирая MediaTek, где это применимо.
  3. Информацию о LLM см. в разделе Выполнение LLM на NPU с использованием LiteRT-LM .