Exécuter des LLM sur NPU à l'aide de LiteRT-LM

Les NPU (Neural Processing Units) sont des blocs matériels spécialisés optimisés pour les charges de travail de deep learning. Elles sont de plus en plus disponibles dans les systèmes sur puce (SoC) modernes, en particulier sur les appareils mobiles. Leur nature très performante les rend particulièrement adaptés à l'exécution de l'inférence LLM.

LiteRT-LM est une bibliothèque C++ conçue pour exécuter efficacement des pipelines de modèles de langage sur un large éventail d'appareils, des téléphones mobiles aux systèmes embarqués. Il fournit aux développeurs les outils nécessaires pour créer et déployer des workflows de modèles de langage sophistiqués, désormais avec une intégration NPU fluide.

Fournisseurs de NPU

LiteRT-LM permet d'exécuter des LLM à l'aide de l'accélération NPU avec les fournisseurs suivants. Choisissez les instructions en fonction du fournisseur que vous souhaitez essayer :

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot

Démarrage rapide

1. Suivez les prérequis pour configurer l'environnement et le dépôt.
2. Assurez-vous que adb est installé et qu'un appareil est connecté.
3. Consultez le guide de démarrage rapide et la démonstration de la ligne de commande litert_lm_main.

Qualcomm AI Engine Direct

SOC_MODEL=$(adb shell getprop ro.soc.model | tr '[:upper:]' '[:lower:]')
echo "https://huggingface.co/litert-community/Gemma3-1B-IT/blob/main/Gemma3-1B-IT_q4_ekv1280_${SOC_MODEL}.litertlm"

unzip <your_file.zip> -d ~/
QAIRT_ROOT=~/qairt/2.34.0.250424

bazel build --config=android_arm64 //runtime/engine:litert_lm_main
bazel build --config=android_arm64 \
    @litert//litert/vendors/qualcomm/dispatch:dispatch_api_so

export DEVICE_FOLDER=/data/local/tmp/
adb shell mkdir -p $DEVICE_FOLDER
export MODEL_PATH=<path-to-model.litertlm>
adb push $MODEL_PATH $DEVICE_FOLDER/model.litertlm
adb push $QAIRT_ROOT/lib/aarch64-android/* $DEVICE_FOLDER/
adb push bazel-bin/runtime/engine/litert_lm_main $DEVICE_FOLDER/
adb shell chmod +x $DEVICE_FOLDER/litert_lm_main

adb shell "cd $DEVICE_FOLDER && \
  QAIRT_ROOT=$DEVICE_FOLDER \
  ./litert_lm_main --model=model.litertlm \
  --prompt='Explain the history of LiteRT in 3 bullet points' \
  --device=qualcomm_npu --rounds=1"

MediaTek NeuroPilot