تنفيذ النماذج اللغوية الكبيرة على وحدة المعالجة العصبية باستخدام LiteRT-LM

توفّر وحدات المعالجة العصبية (NPU) وحدات أجهزة متخصّصة تم تحسينها لتناسب أحجام المعالجة في التعلّم العميق. وتتوفّر هذه الميزات بشكل متزايد في الأنظمة الحديثة على شريحة واحدة (SoC)، خاصةً على الأجهزة الجوّالة. وبفضل أدائها العالي، تُعدّ هذه الوحدات خيارًا رائعًا لتنفيذ استنتاج نماذج اللغات الكبيرة.

‫LiteRT-LM هي مكتبة C++ مصمَّمة لتشغيل مسارات نماذج اللغة بكفاءة على مجموعة كبيرة من الأجهزة، بدءًا من الهواتف الجوّالة وصولاً إلى الأنظمة المضمَّنة. توفّر هذه الأداة للمطوّرين الأدوات اللازمة لإنشاء عمليات سير عمل متطورة لنماذج اللغة ونشرها، وهي تتضمّن الآن ميزة التكامل السلس مع وحدة المعالجة العصبية (NPU).

مورّدو وحدات المعالجة العصبية

يتيح LiteRT-LM تشغيل نماذج اللغات الكبيرة باستخدام تسريع وحدة المعالجة العصبية (NPU) مع المورّدين التاليين. اختَر التعليمات حسب البائع الذي تريد تجربته:

البدء بسرعة

  1. اتّبِع المتطلبات الأساسية لإعداد البيئة والمستودع.
  2. تأكَّد من تثبيت adb وتوصيل جهاز.
  3. راجِع دليل البدء السريع وlitert_lm_main الفيديو التوضيحي لسطر الأوامر.

Qualcomm AI Engine Direct

الخطوة 1: تنزيل نموذج .litertlm

نزِّل .litertlm يتوافق مع نظامك على الشريحة (أمثلة أدناه). يمكنك طلب معلومات عن نظام SoC في جهازك من خلال تنفيذ ما يلي:

SOC_MODEL=$(adb shell getprop ro.soc.model | tr '[:upper:]' '[:lower:]')
echo "https://huggingface.co/litert-community/Gemma3-1B-IT/blob/main/Gemma3-1B-IT_q4_ekv1280_${SOC_MODEL}.litertlm"
الطراز منظومة على رقاقة (SoC) التكميم حجم السياق حجم النموذج (ميغابايت) تنزيل
Gemma3-1B SM8750 4 بت لكل قناة 1280 658 تنزيل
Gemma3-1B SM8650 4 بت لكل قناة 1280 658 تنزيل
Gemma3-1B SM8550 4 بت لكل قناة 1280 657 تنزيل

الخطوة 2: تنزيل مكتبات QAIRT واستخراجها

نزِّل حزمة تطوير البرامج QAIRT، واستخرِجها، واضبط QAIRT_ROOT:

unzip <your_file.zip> -d ~/
QAIRT_ROOT=~/qairt/2.34.0.250424

الخطوة 3: إنشاء وقت التشغيل / المكتبات LiteRT-LM

ثبِّت الإصدار 28b أو إصدارًا أحدث من حزمة تطوير البرامج (NDK) لنظام التشغيل Android وأنشئ ما يلي:

bazel build --config=android_arm64 //runtime/engine:litert_lm_main
bazel build --config=android_arm64 \
    @litert//litert/vendors/qualcomm/dispatch:dispatch_api_so

الخطوة 4: تشغيل النموذج على الجهاز

اضبط مسار جهازك وادفع مواد العرض:

export DEVICE_FOLDER=/data/local/tmp/
adb shell mkdir -p $DEVICE_FOLDER
export MODEL_PATH=<path-to-model.litertlm>
adb push $MODEL_PATH $DEVICE_FOLDER/model.litertlm
adb push $QAIRT_ROOT/lib/aarch64-android/* $DEVICE_FOLDER/
adb push bazel-bin/runtime/engine/litert_lm_main $DEVICE_FOLDER/
adb shell chmod +x $DEVICE_FOLDER/litert_lm_main

التشغيل:

adb shell "cd $DEVICE_FOLDER && \
  QAIRT_ROOT=$DEVICE_FOLDER \
  ./litert_lm_main --model=model.litertlm \
  --prompt='Explain the history of LiteRT in 3 bullet points' \
  --device=qualcomm_npu --rounds=1"

‫MediaTek NeuroPilot

نظرة عامة على الخطوات

تتشابه عملية MediaTek مع عملية Qualcomm: استخدِم .litertlm تم إنشاؤه خصيصًا لنظامك على الشريحة، وأدرِج مكتبات وقت التشغيل NeuroPilot، وأنشئ litert_lm_main، وأرسِل مواد العرض، وشغِّلها باستخدام --device=mediatek_npu.