NPU (NeuroPilot) của MediaTek có LiteRT

LiteRT hỗ trợ MediaTek NeuroPilot thông qua Compiled Model API cho cả AOT và quá trình biên dịch Trên thiết bị.

Thiết lập môi trường phát triển

  • Hệ điều hành: Ubuntu 22.04 LTS
  • Hệ thống xây dựng: Bazel 7.4.1
  • SDK Android: API cấp 34 (Android 14)
  • Android NDK: Hỗ trợ API cấp 28 (Android 9 Pie)

Các SoC được hỗ trợ

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)
  • Dimensity 9300 (MT6989)
  • Dimensity 9400 (MT6991)

Các bước tiếp theo

  1. Bắt đầu với hướng dẫn NPU hợp nhất: Tăng tốc NPU bằng LiteRT
  2. Làm theo các bước chuyển đổi và triển khai tại đó, chọn MediaTek nếu có thể.
  3. Đối với LLM, hãy xem phần Thực thi LLM trên NPU bằng LiteRT-LM.