MediaTek NPU (NeuroPilot) with LiteRT

LiteRT, AOT और डिवाइस पर कंपाइल करने, दोनों के लिए कंपाइल किए गए मॉडल एपीआई के ज़रिए MediaTek NeuroPilot के साथ काम करता है.

डेवलपमेंट एनवायरमेंट सेट अप करना

  • ऑपरेटिंग सिस्टम: Ubuntu 22.04 LTS
  • बिल्ड सिस्टम: Bazel 7.4.1
  • Android SDK: एपीआई लेवल 34 (Android 14)
  • Android NDK: एपीआई लेवल 28 (Android 9 Pie) के लिए सहायता

साथ काम करने वाले SoCs

  • Dimensity 7300 (MT6878)
  • Dimensity 8300 (MT6897)
  • Dimensity 9000 (MT6983)
  • Dimensity 9200 (MT6985)
  • Dimensity 9300 (MT6989)
  • Dimensity 9400 (MT6991)

अगले चरण

  1. यूनिफ़ाइड एनपीयू गाइड से शुरुआत करें: LiteRT की मदद से एनपीयू ऐक्सेलरेट करना
  2. वहां दिए गए कन्वर्ज़न और डिप्लॉयमेंट के चरणों का पालन करें. साथ ही, जहां लागू हो वहां MediaTek को चुनें.
  3. एलएलएम के लिए, LiteRT-LM का इस्तेमाल करके एनपीयू पर एलएलएम को एक्ज़ीक्यूट करना लेख पढ़ें.