Интерфейс командной строки LiteRT-LM

Интерфейс командной строки (CLI) позволяет тестировать модели немедленно — без написания кода.

Поддерживаемые платформы:

  • Linux
  • macOS
  • Windows
  • Raspberry Pi

Установка

Запустите litert-lm немедленно, не устанавливая его навсегда. Требуется uv .

Для запуска любой команды litert-lm по требованию можно добавить префикс uvx :

uvx litert-lm run --help

Метод 2: uv (Постоянная установка)

Устанавливает litert-lm как системный исполняемый файл. Требует uv .

uv tool install litert-lm

Метод 3: pip

Стандартная установка в виртуальной среде. Использование --upgrade гарантирует получение последней версии, даже если предыдущая версия уже была установлена.

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm

Обновление

Чтобы обновить litert-lm до последней версии:

При использовании uvx (Метод 1)

Никаких действий не требуется. uvx автоматически запускает последнюю версию.

При установке с использованием uv (Метод 2) 

uv tool upgrade litert-lm

При установке с помощью pip (Метод 3)

Активируйте виртуальную среду и выполните следующую команду:

pip install --upgrade litert-lm

Чат

Скачайте модель с сайта HuggingFace и запустите её:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

🔴 Новинка: Многотокенное прогнозирование (MTP)

Многотокенное предсказание (MTP) — это оптимизация производительности, которая значительно ускоряет скорость декодирования. MTP повсеместно рекомендуется для всех задач на графических процессорах.

Чтобы включить MTP в командной строке, используйте флаг --enable-speculative-decoding=true :

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --backend=gpu \
  --enable-speculative-decoding=true \
  --prompt="What is the capital of France?"

Вызов функций / Инструменты

Вы можете запускать инструменты с предустановками. Создайте файл preset.py :

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Запуск с предустановленными настройками:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

Примеры подсказок и интерактивного вывода: 

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Что здесь происходит?

Когда вы задаете вопрос, требующий внешней информации (например, текущего времени), модель понимает, что ей необходимо обратиться к инструменту.

  1. Модель выдает вызов tool_call : модель отправляет JSON-запрос для вызова функции get_current_time .
  2. Инструмент выполнения командной строки : CLI LiteRT-LM перехватывает этот вызов и выполняет соответствующую функцию Python, определенную в вашем preset.py .
  3. CLI отправляет tool_response : CLI отправляет результат обратно в модель.
  4. Модель генерирует окончательный ответ : Модель использует ответ инструмента для вычисления и генерации окончательного ответа для пользователя.

Этот цикл "вызова функций" происходит автоматически в интерфейсе командной строки, что позволяет дополнять локальные LLM-модули возможностями Python без написания сложного кода оркестрации.

Аналогичные возможности доступны через API на Python , C++ и Kotlin .

Удаление

Чтобы удалить litert-lm :

При использовании uvx (Метод 1)

Никаких действий не требуется. uvx работает из временного кэша и не устанавливается навсегда.

При установке с использованием uv (Метод 2) 

uv tool uninstall litert-lm

При установке с помощью pip (Метод 3) 

pip uninstall litert-lm