تشغيل النماذج اللغوية الكبيرة باستخدام LiteRT-LM

‫LiteRT-LM هي مكتبة متوافقة مع عدة منصات ومصمَّمة لتشغيل مسارات نماذج اللغة بكفاءة على مجموعة كبيرة من الأجهزة، بدءًا من الهواتف الجوّالة وصولاً إلى الأنظمة المضمَّنة. توفّر هذه الأداة للمطوّرين الأدوات اللازمة لإنشاء عمليات سير عمل متطورة لنماذج اللغة ونشرها، وهي تتضمّن الآن ميزة التكامل السلس مع وحدة المعالجة العصبية (NPU).

تشغيل نماذج اللغات الكبيرة على وحدة المعالجة المركزية ووحدة معالجة الرسومات

يمكنك الاطّلاع على مستودع LiteRT-LM على GitHub للحصول على تعليمات مفصّلة حول التطوير المتوافق مع عدة أنظمة أساسية وتسريع الأجهزة باستخدام وحدة المعالجة المركزية (CPU) أو وحدة معالجة الرسومات (GPU).

تشغيل النماذج اللغوية الكبيرة على وحدة المعالجة العصبية

توفّر وحدات المعالجة العصبية (NPU) وحدات أجهزة متخصّصة تم تحسينها لتناسب أحجام المعالجة في التعلّم العميق. وتتوفّر هذه الميزات بشكل متزايد في الأنظمة الحديثة على شريحة واحدة (SoC)، خاصةً على الأجهزة الجوّالة. وبفضل أدائها العالي، تُعدّ هذه الوحدات مناسبة جدًا لتنفيذ استنتاجات نماذج اللغات الكبيرة.

مورّدو وحدات المعالجة العصبية

يتيح LiteRT-LM تشغيل نماذج اللغات الكبيرة باستخدام تسريع وحدة المعالجة العصبية (NPU) مع المورّدين التاليين. اختَر التعليمات حسب المورّد الذي تريد تجربته:

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot

البدء بسرعة

1. اتّبِع المتطلبات الأساسية لإعداد البيئة والمستودع.
2. تأكَّد من تثبيت adb وتوصيل جهاز.
3. راجِع دليل البدء السريع وlitert_lm_main الفيديو التوضيحي لسطر الأوامر.

Qualcomm AI Engine Direct

SOC_MODEL=$(adb shell getprop ro.soc.model | tr '[:upper:]' '[:lower:]')
echo "https://huggingface.co/litert-community/Gemma3-1B-IT/blob/main/Gemma3-1B-IT_q4_ekv1280_${SOC_MODEL}.litertlm"

unzip <your_file.zip> -d ~/
QAIRT_ROOT=~/qairt/2.34.0.250424

bazel build --config=android_arm64 //runtime/engine:litert_lm_main
bazel build --config=android_arm64 \
    @litert//litert/vendors/qualcomm/dispatch:dispatch_api_so

export DEVICE_FOLDER=/data/local/tmp/
adb shell mkdir -p $DEVICE_FOLDER
export MODEL_PATH=<path-to-model.litertlm>
adb push $MODEL_PATH $DEVICE_FOLDER/model.litertlm
adb push $QAIRT_ROOT/lib/aarch64-android/* $DEVICE_FOLDER/
adb push bazel-bin/runtime/engine/litert_lm_main $DEVICE_FOLDER/
adb shell chmod +x $DEVICE_FOLDER/litert_lm_main

adb shell "cd $DEVICE_FOLDER && \
  QAIRT_ROOT=$DEVICE_FOLDER \
  ./litert_lm_main --model=model.litertlm \
  --prompt='Explain the history of LiteRT in 3 bullet points' \
  --device=qualcomm_npu --rounds=1"

‫MediaTek NeuroPilot