LiteRT AOT এবং JIT উভয়ের জন্য কম্পাইলড মডেল API এর মাধ্যমে Qualcomm AI Engine Direct (QNN) সমর্থন করে। এই পৃষ্ঠাটি eap/ অধীনে পূর্বে বিক্রেতা নির্দেশিকাকে একীভূত করে।
উন্নয়ন পরিবেশ স্থাপন করুন
কোয়ালকম এআই ইঞ্জিন ডাইরেক্টের নিম্নলিখিত উন্নয়ন পরিবেশের প্রয়োজনীয়তা রয়েছে:
- অপারেটিং সিস্টেম : উবুন্টু 22.04 LTS
- বিল্ড সিস্টেম : ব্যাজেল সংস্করণ 7.4.1
- স্ট্যান্ডার্ড লাইব্রেরি : Libc++ এবং Libc++abi 16+
- প্ল্যাটফর্ম নির্দিষ্ট প্রয়োজনীয়তা:
- অ্যান্ড্রয়েড:
- অ্যান্ড্রয়েড এসডিকে : অ্যান্ড্রয়েড এপিআই লেভেল ৩৪ (অ্যান্ড্রয়েড ১৪)।
- অ্যান্ড্রয়েড এনডিকে : এপিআই লেভেল ২৮ (অ্যান্ড্রয়েড ৯ পাই) এর জন্য সমর্থন।
- IoT : শীঘ্রই আসছে।
- উইন্ডোজ : শীঘ্রই আসছে।
আপনি স্বয়ংক্রিয়ভাবে নির্ভরতা কনফিগার করতে ডকারের সাথে দ্রুত সিস্টেম সেটআপ ব্যবহার করতে পারেন।
সমর্থিত ক্রিয়াকলাপ
LiterRT QNN Hexagon Tensor Processor (HTP) ব্যাকএন্ডে বিস্তৃত অপশন কমিয়ে আনে। AOT এবং অন-ডিভাইস কম্পাইলেশন উভয়ই সমর্থিত। সমর্থিত অপশন তালিকা দেখুন।
সমর্থিত SoCs
- স্ন্যাপড্রাগন ৮ এলিট জেন ৫ মোবাইল প্ল্যাটফর্ম (SM8850)
- স্ন্যাপড্রাগন ৮ এলিট মোবাইল প্ল্যাটফর্ম (SM8750)
- স্ন্যাপড্রাগন ৮ জেনারেশন ৩ মোবাইল প্ল্যাটফর্ম (SM8650)
- স্ন্যাপড্রাগন ৮ জেনারেশন ২ মোবাইল প্ল্যাটফর্ম (SM8550)
- স্ন্যাপড্রাগন ৮+ জেনারেশন ১ মোবাইল প্ল্যাটফর্ম (SM8475)
- স্ন্যাপড্রাগন ৮ জেনারেশন ১ মোবাইল প্ল্যাটফর্ম (SM8450)
পরবর্তী পদক্ষেপ
- ইউনিফাইড NPU গাইড দিয়ে শুরু করুন: LiterRT দিয়ে NPU ত্বরণ
- সেখানে রূপান্তর এবং স্থাপনার ধাপগুলি অনুসরণ করুন, প্রযোজ্য ক্ষেত্রে Qualcomm বেছে নিন।
- LLM-এর জন্য, Litert-LM ব্যবহার করে NPU-তে LLM কার্যকর করুন দেখুন।