Uruchamianie modeli LLM na NPU za pomocą LiteRT-LM

Jednostki Neural Processing Unit (NPU) to specjalistyczne bloki sprzętowe zoptymalizowane pod kątem zadań związanych z uczeniem głębokim. Są one coraz częściej dostępne w nowoczesnych systemach na chipie (SoC), zwłaszcza na urządzeniach mobilnych. Dzięki wysokiej wydajności doskonale nadają się do przeprowadzania wnioskowania LLM.

LiteRT-LM to biblioteka C++ zaprojektowana do wydajnego uruchamiania potoków modeli językowych na szerokiej gamie urządzeń, od telefonów komórkowych po systemy wbudowane. Zapewnia deweloperom narzędzia do tworzenia i wdrażania zaawansowanych przepływów pracy z modelami językowymi, teraz z bezproblemową integracją z NPU.

Dostawcy NPU

LiteRT-LM obsługuje uruchamianie LLM z użyciem akceleracji NPU w przypadku tych dostawców: Wybierz instrukcje w zależności od tego, którego dostawcę chcesz wypróbować:

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot

Szybki start

1. Aby skonfigurować środowisko i repozytorium, wykonaj czynności opisane w sekcji Wymagania wstępne.
2. Sprawdź, czy adb jest zainstalowany i czy urządzenie jest połączone.
3. Zapoznaj się z przewodnikiem dla początkujących i litert_lm_main demonstracją wiersza poleceń.

Qualcomm AI Engine Direct

SOC_MODEL=$(adb shell getprop ro.soc.model | tr '[:upper:]' '[:lower:]')
echo "https://huggingface.co/litert-community/Gemma3-1B-IT/blob/main/Gemma3-1B-IT_q4_ekv1280_${SOC_MODEL}.litertlm"

unzip <your_file.zip> -d ~/
QAIRT_ROOT=~/qairt/2.34.0.250424

bazel build --config=android_arm64 //runtime/engine:litert_lm_main
bazel build --config=android_arm64 \
    @litert//litert/vendors/qualcomm/dispatch:dispatch_api_so

export DEVICE_FOLDER=/data/local/tmp/
adb shell mkdir -p $DEVICE_FOLDER
export MODEL_PATH=<path-to-model.litertlm>
adb push $MODEL_PATH $DEVICE_FOLDER/model.litertlm
adb push $QAIRT_ROOT/lib/aarch64-android/* $DEVICE_FOLDER/
adb push bazel-bin/runtime/engine/litert_lm_main $DEVICE_FOLDER/
adb shell chmod +x $DEVICE_FOLDER/litert_lm_main

adb shell "cd $DEVICE_FOLDER && \
  QAIRT_ROOT=$DEVICE_FOLDER \
  ./litert_lm_main --model=model.litertlm \
  --prompt='Explain the history of LiteRT in 3 bullet points' \
  --device=qualcomm_npu --rounds=1"

MediaTek NeuroPilot