Запускайте LLM с помощью LiteRT-LM.

LiteRT-LM — это кроссплатформенная библиотека, разработанная для эффективного запуска конвейеров обработки языковых моделей на широком спектре устройств, от мобильных телефонов до встроенных систем. Она предоставляет разработчикам инструменты для создания и развертывания сложных рабочих процессов обработки языковых моделей, теперь с бесшовной интеграцией с нейропроцессорами (NPU).

Запуск LLM на ЦП и ГП

Подробные инструкции по кроссплатформенной разработке и аппаратному ускорению на CPU/GPU см. в репозитории LiteRT-LM на GitHub.

Запуск LLM на NPU

Нейронные процессоры (NPU) представляют собой специализированные аппаратные блоки, оптимизированные для задач глубокого обучения. Они все чаще встречаются в современных системах на кристалле (SoC), особенно в мобильных устройствах. Их высокая производительность делает их отличным решением для выполнения инференса LLM.

Поставщики НПУ

LiteRT-LM поддерживает запуск LLM с использованием ускорения NPU у следующих производителей. Выберите инструкции в зависимости от того, какого производителя вы хотите попробовать:

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot

Быстрый старт

1. Для настройки среды и репозитория выполните следующие действия, указанные в разделе «Предварительные требования» .
2. Убедитесь, что adb установлен и устройство подключено.
3. См. руководство по быстрому запуску и демонстрационный пример командной строки litert_lm_main .

Qualcomm AI Engine Direct

SOC_MODEL=$(adb shell getprop ro.soc.model | tr '[:upper:]' '[:lower:]')
echo "https://huggingface.co/litert-community/Gemma3-1B-IT/blob/main/Gemma3-1B-IT_q4_ekv1280_${SOC_MODEL}.litertlm"

unzip <your_file.zip> -d ~/
QAIRT_ROOT=~/qairt/2.34.0.250424

bazel build --config=android_arm64 //runtime/engine:litert_lm_main
bazel build --config=android_arm64 \
    @litert//litert/vendors/qualcomm/dispatch:dispatch_api_so

export DEVICE_FOLDER=/data/local/tmp/
adb shell mkdir -p $DEVICE_FOLDER
export MODEL_PATH=<path-to-model.litertlm>
adb push $MODEL_PATH $DEVICE_FOLDER/model.litertlm
adb push $QAIRT_ROOT/lib/aarch64-android/* $DEVICE_FOLDER/
adb push bazel-bin/runtime/engine/litert_lm_main $DEVICE_FOLDER/
adb shell chmod +x $DEVICE_FOLDER/litert_lm_main

adb shell "cd $DEVICE_FOLDER && \
  QAIRT_ROOT=$DEVICE_FOLDER \
  ./litert_lm_main --model=model.litertlm \
  --prompt='Explain the history of LiteRT in 3 bullet points' \
  --device=qualcomm_npu --rounds=1"

MediaTek NeuroPilot