Executar LLMs usando o LiteRT-LM

O LiteRT-LM é uma biblioteca multiplataforma projetada para executar com eficiência pipelines de modelos de linguagem em uma ampla variedade de dispositivos, desde smartphones até sistemas incorporados. Ele oferece aos desenvolvedores as ferramentas para criar e implantar fluxos de trabalho sofisticados de modelos de linguagem, agora com integração perfeita da NPU.

Executar LLMs em CPUs e GPUs

Consulte o repositório do GitHub LiteRT-LM para instruções detalhadas sobre desenvolvimento multiplataforma e aceleração de hardware de CPU/GPU.

Executar LLMs na NPU

As unidades de processamento neural (NPUs) oferecem blocos de hardware especializados otimizados para cargas de trabalho de aprendizado profundo. Eles estão cada vez mais disponíveis em sistemas modernos em um chip (SoCs), especialmente em dispositivos móveis. A natureza de alto desempenho os torna ideais para executar a inferência de LLM.

Fornecedores de NPU

O LiteRT-LM é compatível com a execução de LLMs usando aceleração de NPU com os seguintes fornecedores. Escolha as instruções de acordo com o fornecedor que você quer testar:

• Qualcomm AI Engine Direct (em inglês)
• MediaTek NeuroPilot

Início rápido

1. Siga os pré-requisitos para configurar o ambiente e o repositório.
2. Confira se o adb está instalado e se um dispositivo está conectado.
3. Consulte o Início rápido e a litert_lm_main demonstração da linha de comando.

Qualcomm AI Engine Direct

SOC_MODEL=$(adb shell getprop ro.soc.model | tr '[:upper:]' '[:lower:]')
echo "https://huggingface.co/litert-community/Gemma3-1B-IT/blob/main/Gemma3-1B-IT_q4_ekv1280_${SOC_MODEL}.litertlm"

unzip <your_file.zip> -d ~/
QAIRT_ROOT=~/qairt/2.34.0.250424

bazel build --config=android_arm64 //runtime/engine:litert_lm_main
bazel build --config=android_arm64 \
    @litert//litert/vendors/qualcomm/dispatch:dispatch_api_so

export DEVICE_FOLDER=/data/local/tmp/
adb shell mkdir -p $DEVICE_FOLDER
export MODEL_PATH=<path-to-model.litertlm>
adb push $MODEL_PATH $DEVICE_FOLDER/model.litertlm
adb push $QAIRT_ROOT/lib/aarch64-android/* $DEVICE_FOLDER/
adb push bazel-bin/runtime/engine/litert_lm_main $DEVICE_FOLDER/
adb shell chmod +x $DEVICE_FOLDER/litert_lm_main

adb shell "cd $DEVICE_FOLDER && \
  QAIRT_ROOT=$DEVICE_FOLDER \
  ./litert_lm_main --model=model.litertlm \
  --prompt='Explain the history of LiteRT in 3 bullet points' \
  --device=qualcomm_npu --rounds=1"

MediaTek NeuroPilot