MediaTek NPU (NeuroPilot) with LiteRT

‫LiteRT תומך ב-MediaTek NeuroPilot דרך Compiled Model API גם לקימפול מראש (AOT) וגם לקימפול במכשיר.

הגדרת סביבת פיתוח

  • מערכת הפעלה: Ubuntu 22.04 LTS
  • מערכת build: Bazel 7.4.1
  • ‫Android SDK: רמת API‏ 34 (Android 14)
  • ‫Android NDK: תמיכה ברמת API‏ 28 (Android 9 Pie)

מערכות SoC נתמכות

  • Dimensity 7300 (MT6878)‎
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)‎
  • Dimensity 9300 (MT6989)
  • Dimensity 9400 (MT6991)‎

השלבים הבאים

  1. כדאי להתחיל עם המדריך המאוחד של NPU: האצת NPU באמצעות LiteRT
  2. פועלים לפי השלבים להמרה ולפריסה שמופיעים שם, ובוחרים באפשרות MediaTek במקומות הרלוונטיים.
  3. למודלים גדולים של שפה (LLM), אפשר לעיין במאמר הפעלת מודלים גדולים של שפה (LLM) ב-NPU באמצעות LiteRT-LM.