تتوافق LiteRT مع Qualcomm AI Engine Direct (QNN) من خلال واجهة برمجة التطبيقات CompiledModel لكل من الترجمة المسبقة (AOT) والترجمة على الجهاز.
إعداد بيئة التطوير
تتطلّب أداة Qualcomm AI Engine Direct توفّر بيئة التطوير التالية:
- نظام التشغيل: Ubuntu 22.04 LTS
- نظام التصميم: الإصدار 7.4.1 من Bazel
- المكتبات العادية: Libc++ وLibc++abi 16 أو إصدار أحدث
- المتطلبات الخاصة بالمنصة:
- Android:
- حزمة تطوير البرامج (SDK) لنظام التشغيل Android: المستوى 34 من واجهة برمجة التطبيقات (API) لنظام التشغيل Android (الإصدار 14 من نظام التشغيل Android)
- حزمة تطوير البرامج الأصلية (NDK) لنظام التشغيل Android: تتوافق مع المستوى 28 من واجهة برمجة التطبيقات (Android 9 Pie).
- IoT: ستتوفّر قريبًا.
- نظام التشغيل Windows: ستتوفّر هذه الميزة قريبًا.
يمكنك استخدام الإعداد السريع للنظام باستخدام Docker لضبط التبعيات تلقائيًا.
العمليات المتوافقة
تخفِّض LiteRT مجموعة كبيرة من العمليات إلى الخلفية QNN Hexagon Tensor Processor (HTP). يمكن استخدام كلّ من الترجمة المسبقة (AOT) والترجمة على الجهاز. اطّلِع على قائمة العمليات المتوافقة.
تقنيات المنظومة على الرقاقة (SoC) المتوافقة
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- النظام الأساسي للأجهزة الجوّالة Snapdragon 8 Elite (SM8750)
- Snapdragon 8 Gen 3 Mobile Platform (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
- راجِع مستندات Qualcomm QNN HTP Backend للحصول على إعدادات متقدّمة لخادم HTP الخلفي.
الخطوات التالية
- ابدأ بدليل وحدة المعالجة العصبية الموحّدة: تسريع وحدة المعالجة العصبية باستخدام LiteRT
- اتّبِع خطوات الإحالة الناجحة والنشر الواردة في هذا القسم، واختَر Qualcomm عند الاقتضاء.
- بالنسبة إلى النماذج اللغوية الكبيرة، يُرجى الاطّلاع على تنفيذ النماذج اللغوية الكبيرة على وحدة المعالجة العصبية باستخدام LiteRT-LM.