LiteRT, AOT और JIT, दोनों के लिए कंपाइल किए गए मॉडल एपीआई के ज़रिए Qualcomm AI Engine Direct (QNN) के साथ काम करता है. इस पेज पर, वेंडर गाइड की जानकारी दी गई है. यह जानकारी पहले eap/ में उपलब्ध थी.
डेवलपमेंट एनवायरमेंट सेट अप करना
Qualcomm AI Engine Direct के डेवलपमेंट एनवायरमेंट के लिए ये ज़रूरी शर्तें हैं:
- ऑपरेटिंग सिस्टम: Ubuntu 22.04 LTS
- बिल्ड सिस्टम: Bazel वर्शन 7.4.1
- स्टैंडर्ड लाइब्रेरी: Libc++ और Libc++abi 16+
- प्लैटफ़ॉर्म के हिसाब से ज़रूरी शर्तें:
- Android:
- Android SDK टूल: Android API Level 34 (Android 14).
- Android NDK: एपीआई लेवल 28 (Android 9 Pie) के लिए सहायता.
- IoT: यह सुविधा जल्द ही उपलब्ध होगी.
- Windows: यह सुविधा जल्द ही उपलब्ध होगी.
डिपेंडेंसी को अपने-आप कॉन्फ़िगर करने के लिए, Docker की मदद से सिस्टम को तुरंत सेटअप करें का इस्तेमाल किया जा सकता है.
इन कार्रवाइयों के लिए यह सुविधा उपलब्ध है
LiteRT, कई तरह के ऑपरेशंस को QNN Hexagon Tensor Processor (HTP) बैकएंड पर ले जाता है. AOT और डिवाइस पर कंपाइल करने की सुविधा, दोनों काम करती हैं. इस्तेमाल की जा सकने वाली कार्रवाइयों की सूची देखें.
साथ काम करने वाले SoCs
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- Snapdragon 8 Elite Mobile Platform (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
अगले चरण
- यूनिफ़ाइड एनपीयू गाइड से शुरुआत करें: LiteRT की मदद से एनपीयू ऐक्सेलरेट करना
- वहां दिए गए कन्वर्ज़न और डिप्लॉयमेंट के चरणों का पालन करें. साथ ही, जहां लागू हो वहां Qualcomm को चुनें.
- एलएलएम के लिए, LiteRT-LM का इस्तेमाल करके एनपीयू पर एलएलएम को एक्ज़ीक्यूट करना लेख पढ़ें.