MediaTek NPU (NeuroPilot) with LiteRT

‫LiteRT תומך ב-MediaTek NeuroPilot דרך CompiledModel API גם עבור AOT וגם עבור קומפילציה במכשיר.

הגדרת סביבת פיתוח

  • מערכת הפעלה: Ubuntu 22.04 LTS
  • מערכת build: Bazel 7.4.1
  • ‫Android SDK: רמת API‏ 34 (Android 14)
  • ‫Android NDK: תמיכה ברמת API‏ 28 (Android 9 Pie)

מערכות SoC נתמכות

  • Dimensity 7300 (MT6878)‎
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)‎
  • Dimensity 9300 (MT6989)‎
  • Dimensity 9400 (MT6991)

השלבים הבאים

  1. כדאי להתחיל עם המדריך המאוחד של NPU: האצת NPU באמצעות LiteRT
  2. פועלים לפי השלבים להמרת המודל ולפריסה שלו, ובוחרים באפשרות MediaTek במקומות הרלוונטיים.
  3. למודלים של שפה גדולה (LLM), ראו הפעלת LLM ב-NPU באמצעות LiteRT-LM.