NPU (NeuroPilot) ของ MediaTek พร้อม LiteRT

LiteRT รองรับ MediaTek NeuroPilot ผ่าน Compiled Model API สำหรับทั้ง AOT และการคอมไพล์บนอุปกรณ์

ตั้งค่าสภาพแวดล้อมในการพัฒนา

  • ระบบปฏิบัติการ: Ubuntu 22.04 LTS
  • ระบบบิลด์: Bazel 7.4.1
  • Android SDK: API ระดับ 34 (Android 14)
  • Android NDK: รองรับ API ระดับ 28 (Android 9 Pie)

SoC ที่รองรับ

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)
  • Dimensity 9300 (MT6989)
  • Dimensity 9400 (MT6991)

ขั้นตอนถัดไป

  1. เริ่มต้นด้วยคำแนะนำเกี่ยวกับ NPU แบบรวม: การเร่งความเร็ว NPU ด้วย LiteRT
  2. ทำตามขั้นตอนการแปลงและการติดตั้งใช้งานที่นั่น โดยเลือก MediaTek ในกรณีที่เกี่ยวข้อง
  3. สำหรับ LLM โปรดดูเรียกใช้ LLM บน NPU โดยใช้ LiteRT-LM