הפעלת מודלים גדולים של שפה (LLM) באמצעות LiteRT-LM

‫LiteRT-LM היא ספרייה חוצת פלטפורמות שנועדה להפעיל ביעילות צינורות של מודלים של שפה במגוון רחב של מכשירים, מטלפונים ניידים ועד מערכות מוטמעות. הוא מספק למפתחים את הכלים ליצירה ולפריסה של תהליכי עבודה מתוחכמים של מודלים של שפה, ועכשיו עם שילוב חלק של NPU.

הפעלת מודלים גדולים של שפה (LLM) במעבד (CPU) ובמעבד גרפי (GPU)

הוראות מפורטות לפיתוח חוצה פלטפורמות ולהאצת חומרה של CPU/GPU זמינות במאגר LiteRT-LM ב-GitHub.

הפעלת מודלים גדולים של שפה (LLM) ב-NPU

יחידות עיבוד עצביות (NPU) מציעות בלוקים מיוחדים של חומרה שעברו אופטימיזציה לעומסי עבודה של למידה עמוקה. הן זמינות יותר ויותר במערכות מודרניות על שבב (SoC), במיוחד בניידים. הביצועים הגבוהים שלהם הופכים אותם למתאימים מאוד להסקת מסקנות של LLM.

ספקי NPU

‫LiteRT-LM תומך בהרצת מודלים גדולים של שפה (LLM) באמצעות האצת NPU עם הספקים הבאים. בוחרים את ההוראות בהתאם לספק שרוצים לנסות:

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot

התחלה מהירה

1. פועלים לפי הדרישות המוקדמות כדי להגדיר את הסביבה ואת המאגר.
2. מוודאים שהתוסף adb מותקן ומכשיר מחובר.
3. אפשר לעיין במאמר מדריך למתחילים ובlitert_lm_main הדגמה של שורת הפקודה.

Qualcomm AI Engine Direct

SOC_MODEL=$(adb shell getprop ro.soc.model | tr '[:upper:]' '[:lower:]')
echo "https://huggingface.co/litert-community/Gemma3-1B-IT/blob/main/Gemma3-1B-IT_q4_ekv1280_${SOC_MODEL}.litertlm"

unzip <your_file.zip> -d ~/
QAIRT_ROOT=~/qairt/2.34.0.250424

bazel build --config=android_arm64 //runtime/engine:litert_lm_main
bazel build --config=android_arm64 \
    @litert//litert/vendors/qualcomm/dispatch:dispatch_api_so

export DEVICE_FOLDER=/data/local/tmp/
adb shell mkdir -p $DEVICE_FOLDER
export MODEL_PATH=<path-to-model.litertlm>
adb push $MODEL_PATH $DEVICE_FOLDER/model.litertlm
adb push $QAIRT_ROOT/lib/aarch64-android/* $DEVICE_FOLDER/
adb push bazel-bin/runtime/engine/litert_lm_main $DEVICE_FOLDER/
adb shell chmod +x $DEVICE_FOLDER/litert_lm_main

adb shell "cd $DEVICE_FOLDER && \
  QAIRT_ROOT=$DEVICE_FOLDER \
  ./litert_lm_main --model=model.litertlm \
  --prompt='Explain the history of LiteRT in 3 bullet points' \
  --device=qualcomm_npu --rounds=1"

MediaTek NeuroPilot