تتيح LiteRT استخدام Qualcomm AI Engine Direct (QNN) من خلال Compiled Model API لكل من AOT وJIT. تجمع هذه الصفحة دليل المورّدين الذي كان متاحًا سابقًا ضمن eap/.
إعداد بيئة التطوير
تتطلّب أداة Qualcomm AI Engine Direct توفّر بيئة التطوير التالية:
- نظام التشغيل: Ubuntu 22.04 LTS
- نظام التصميم: الإصدار 7.4.1 من Bazel
- المكتبات العادية: Libc++ وLibc++abi 16 أو إصدار أحدث
- المتطلبات الخاصة بالمنصة:
- Android:
- حزمة تطوير البرامج (SDK) لنظام التشغيل Android: المستوى 34 من واجهة برمجة التطبيقات لنظام التشغيل Android (الإصدار 14 من نظام التشغيل Android)
- حزمة تطوير البرامج الأصلية (NDK) لنظام التشغيل Android: تتوافق مع المستوى 28 من واجهة برمجة التطبيقات (Android 9 Pie).
- IoT: ستتوفّر قريبًا.
- نظام التشغيل Windows: ستتوفّر هذه الميزة قريبًا.
يمكنك استخدام الإعداد السريع للنظام باستخدام Docker لضبط التبعيات تلقائيًا.
العمليات المتوافقة
تخفِّض LiteRT مجموعة كبيرة من العمليات إلى الخلفية QNN Hexagon Tensor Processor (HTP). يمكن استخدام كلّ من الترجمة المسبقة (AOT) والترجمة على الجهاز. اطّلِع على قائمة العمليات المتوافقة.
المنظومات على الرقاقة المتوافقة
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- النظام الأساسي للأجهزة الجوّالة Snapdragon 8 Elite (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
الخطوات التالية
- ابدأ بدليل وحدة المعالجة العصبية الموحّدة: تسريع وحدة المعالجة العصبية باستخدام LiteRT
- اتّبِع خطوات الإحالة الناجحة والنشر الواردة في هذا القسم، واختَر Qualcomm عند الاقتضاء.
- بالنسبة إلى النماذج اللغوية الكبيرة، يُرجى الاطّلاع على تنفيذ النماذج اللغوية الكبيرة على وحدة المعالجة العصبية باستخدام LiteRT-LM.