LiteRT, एओटी और डिवाइस पर कंपाइल करने, दोनों के लिए CompiledModel एपीआई के ज़रिए Qualcomm AI Engine Direct (QNN) के साथ काम करता है.
डेवलपमेंट एनवायरमेंट सेट अप करना
Qualcomm AI Engine Direct के लिए, डेवलपमेंट एनवायरमेंट से जुड़ी ये ज़रूरी शर्तें हैं:
- ऑपरेटिंग सिस्टम: Ubuntu 22.04 LTS
- बिल्ड सिस्टम: Bazel वर्शन 7.4.1
- स्टैंडर्ड लाइब्रेरी: Libc++ और Libc++abi 16+
- प्लैटफ़ॉर्म के हिसाब से ज़रूरी शर्तें:
- Android:
- Android SDK टूल: Android API Level 34 (Android 14).
- Android NDK: एपीआई लेवल 28 (Android 9 Pie) के लिए सहायता.
- IoT: यह सुविधा जल्द ही उपलब्ध होगी.
- Windows: यह सुविधा जल्द ही उपलब्ध होगी.
डिपेंडेंसी को अपने-आप कॉन्फ़िगर करने के लिए, Docker की मदद से सिस्टम को तुरंत सेट अप करें का इस्तेमाल किया जा सकता है.
इन कार्रवाइयों के लिए यह सुविधा उपलब्ध है
LiteRT, कई तरह के ऑपरेशंस को QNN Hexagon Tensor Processor (HTP) बैकएंड पर ले जाता है. इसमें एओटी और डिवाइस पर कंपाइल करने की सुविधा, दोनों काम करती हैं. इस्तेमाल की जा सकने वाली कार्रवाइयों की सूची देखें.
साथ काम करने वाले SoCs
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Snapdragon 8 Elite Mobile Platform (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
अगले चरण
- यूनिफ़ाइड एनपीयू गाइड से शुरुआत करें: LiteRT की मदद से एनपीयू ऐक्सलरेशन
- वहां दिए गए कन्वर्ज़न और डिप्लॉयमेंट के चरणों का पालन करें. साथ ही, जहां लागू हो वहां Qualcomm को चुनें.
- एलएलएम के लिए, LiteRT-LM का इस्तेमाल करके एनपीयू पर एलएलएम को एक्ज़ीक्यूट करना लेख पढ़ें.