LiteRT সহ MediaTek NPU (NeuroPilot)

LiterRT AOT এবং অন-ডিভাইস উভয় সংকলনের জন্য কম্পাইলড মডেল API এর মাধ্যমে মিডিয়াটেক নিউরোপাইলটকে সমর্থন করে।

উন্নয়ন পরিবেশ স্থাপন করুন

  • অপারেটিং সিস্টেম: উবুন্টু 22.04 LTS
  • বিল্ড সিস্টেম: ব্যাজেল ৭.৪.১
  • অ্যান্ড্রয়েড এসডিকে: এপিআই লেভেল ৩৪ (অ্যান্ড্রয়েড ১৪)
  • অ্যান্ড্রয়েড এনডিকে: এপিআই লেভেল ২৮ (অ্যান্ড্রয়েড ৯ পাই) এর জন্য সমর্থন

সমর্থিত SoCs

  • ডাইমেনসিটি ৭৩০০ (MT6878)
  • ডাইমেনসিটি ৮৩০০ (MT6897)
  • ডাইমেনসিটি ৯০০০ (MT6983)
  • ডাইমেনসিটি ৯২০০ (MT6985)
  • ডাইমেনসিটি ৯৩০০ (MT6989)
  • ডাইমেনসিটি ৯৪০০ (MT6991)

পরবর্তী পদক্ষেপ

  1. ইউনিফাইড NPU গাইড দিয়ে শুরু করুন: LiterRT দিয়ে NPU ত্বরণ
  2. সেখানে রূপান্তর এবং স্থাপনার ধাপগুলি অনুসরণ করুন, প্রযোজ্য ক্ষেত্রে মিডিয়াটেক বেছে নিন।
  3. LLM-এর জন্য, Litert-LM ব্যবহার করে NPU-তে LLM কার্যকর করুন দেখুন।