MediaTek NPU (NeuroPilot) with LiteRT

‫LiteRT תומך ב-MediaTek NeuroPilot דרך CompiledModel API עבור AOT והידור במכשיר.

הגדרת סביבת פיתוח

  • מערכת הפעלה: Ubuntu 22.04 LTS
  • מערכת build: Bazel 7.4.1
  • ‫Android SDK: רמת API‏ 34 (Android 14)
  • ‫Android NDK: תמיכה ברמת API‏ 28 (Android 9 Pie)

מערכות SoC נתמכות

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)‎
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)‎
  • Dimensity 9300 (MT6989)‎
  • Dimensity 9400 (MT6991)
  • Dimensity 9500 (MT6990)‎

השלבים הבאים

  1. כדאי להתחיל עם המדריך המאוחד של NPU: האצת NPU באמצעות LiteRT
  2. פועלים לפי השלבים להמרה ולפריסה שמופיעים שם, ובוחרים באפשרות MediaTek במקומות הרלוונטיים.
  3. למודלים של שפה גדולים (LLM), ראו הפעלת LLM ב-NPU באמצעות LiteRT-LM.