LiteRT ile MediaTek NPU (NeuroPilot)

LiteRT, hem AOT hem de cihaz üzerinde derleme için Compiled Model API aracılığıyla MediaTek NeuroPilot'u destekler.

Geliştirme ortamını kurma

  • İşletim Sistemi: Ubuntu 22.04 LTS
  • Derleme Sistemi: Bazel 7.4.1
  • Android SDK'sı: API düzeyi 34 (Android 14)
  • Android NDK: API düzeyi 28 (Android 9 Pie) desteği

Desteklenen SoC'ler

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)
  • Dimensity 9300 (MT6989)
  • Dimensity 9400 (MT6991)

Sonraki adımlar

  1. Birleştirilmiş NPU kılavuzuyla başlayın: LiteRT ile NPU hızlandırma
  2. Oradaki dönüşüm ve dağıtım adımlarını uygulayın. Uygun olduğunda MediaTek'i seçin.
  3. LLM'ler için LiteRT-LM kullanarak NPU'da LLM'leri yürütme başlıklı makaleyi inceleyin.