تتيح LiteRT استخدام Qualcomm AI Engine Direct (QNN) من خلال واجهة برمجة التطبيقات CompiledModel لكل من الترجمة المسبقة (AOT) والترجمة على الجهاز.
إعداد بيئة التطوير
تتطلّب أداة Qualcomm AI Engine Direct توفّر بيئة التطوير التالية:
- نظام التشغيل: Ubuntu 22.04 LTS
- نظام التصميم: الإصدار 7.4.1 من Bazel
- المكتبات العادية: Libc++ وLibc++abi 16 أو إصدار أحدث
- المتطلبات الخاصة بالمنصة:
- Android:
- حزمة تطوير البرامج (SDK) لنظام التشغيل Android: المستوى 34 من واجهة برمجة التطبيقات لنظام التشغيل Android (الإصدار 14 من نظام التشغيل Android)
- حزمة تطوير البرامج الأصلية (NDK) لنظام التشغيل Android: تتوافق مع المستوى 28 من واجهة برمجة التطبيقات (الإصدار 9 من نظام التشغيل Android المعروف باسم Pie).
- IoT: ستتوفّر قريبًا.
- نظام التشغيل Windows: ستتوفّر قريبًا.
يمكنك استخدام الإعداد السريع للنظام باستخدام Docker لضبط التبعيات تلقائيًا.
العمليات المتوافقة
تخفِّض LiteRT مجموعة كبيرة من العمليات إلى الخلفية QNN Hexagon Tensor Processor (HTP). يمكن استخدام كلّ من الترجمة الفورية والترجمة على الجهاز. اطّلِع على قائمة العمليات المتوافقة.
تقنيات المنظومة على الرقاقة (SoC) المتوافقة
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- النظام الأساسي للجوال Snapdragon 8 Elite (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
الخطوات التالية
- ابدأ بدليل وحدة المعالجة العصبية الموحّدة: تسريع وحدة المعالجة العصبية باستخدام LiteRT
- اتّبِع خطوات الإحالة الناجحة والنشر الواردة في هذا القسم، واختَر Qualcomm حيثما ينطبق ذلك.
- بالنسبة إلى النماذج اللغوية الكبيرة، يُرجى الاطّلاع على تنفيذ النماذج اللغوية الكبيرة على وحدة المعالجة العصبية باستخدام LiteRT-LM.