CLI LiteRT-LM

L'interface de ligne de commande (CLI) vous permet de tester immédiatement les modèles. Aucun code n'est requis.

Plates-formes compatibles :

  • Linux
  • macOS
  • Windows
  • Raspberry Pi

Installation

Exécutez litert-lm immédiatement sans l'installer de manière permanente. Nécessite uv.

Vous pouvez ajouter le préfixe uvx à n'importe quelle commande litert-lm pour l'exécuter à la demande :

uvx litert-lm run --help

Méthode 2 : uv (installation persistante)

Installe litert-lm en tant que binaire à l'échelle du système. Nécessite uv.

uv tool install litert-lm

Méthode 3 : pip

Installation standard dans un environnement virtuel. L'utilisation de --upgrade vous permet d'obtenir la dernière version, même si une version précédente était déjà installée.

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm

Mise à niveau…

Pour mettre à niveau litert-lm vers la dernière version :

Si vous utilisez uvx (méthode 1)

Aucune action n'est requise. uvx exécute automatiquement la dernière version.

Si vous avez installé avec uv (méthode 2)

uv tool upgrade litert-lm

Si vous avez installé avec pip (méthode 3)

Activez votre environnement virtuel et exécutez :

pip install --upgrade litert-lm

Chat

Téléchargez depuis HuggingFace et exécutez le modèle :

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

🔴 Nouveau : prédiction multi-jetons (MTP)

La prédiction multi-jetons (MTP) est une optimisation des performances qui accélère considérablement les vitesses de décodage. La MTP est universellement recommandée pour toutes les tâches sur les backends GPU.

Pour activer la MTP dans la CLI, utilisez l'option --enable-speculative-decoding=true :

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --backend=gpu \
  --enable-speculative-decoding=true \
  --prompt="What is the capital of France?"

Appel de fonction / Outils

Vous pouvez exécuter des outils avec des préréglages. Créez un preset.py :

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Exécutez avec le préréglage :

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

Exemples de prompts et de sorties interactives :

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Description de l'étape

Lorsque vous posez une question qui nécessite des informations externes (comme l'heure actuelle), le modèle reconnaît qu'il doit appeler un outil.

  1. Le modèle émet tool_call : le modèle génère une requête JSON pour appeler la fonction get_current_time.
  2. La CLI exécute l'outil : la CLI LiteRT-LM intercepte cet appel et exécute la fonction Python correspondante définie dans votre preset.py.
  3. La CLI envoie tool_response : la CLI renvoie le résultat au modèle.
  4. Le modèle génère la réponse finale : le modèle utilise la réponse de l'outil pour calculer et générer la réponse finale pour l'utilisateur.

Cette boucle d'appel de fonction se produit automatiquement dans la CLI, ce qui vous permet d'augmenter les LLM locaux avec des fonctionnalités Python sans écrire de code d'orchestration complexe.

Les mêmes fonctionnalités sont disponibles à partir des API Python, C++, et Kotlin.

Désinstallation

Pour désinstaller litert-lm :

Si vous utilisez uvx (méthode 1)

Aucune action n'est requise. uvx s'exécute à partir d'un cache temporaire et ne s'installe pas de manière permanente.

Si vous avez installé avec uv (méthode 2)

uv tool uninstall litert-lm

Si vous avez installé avec pip (méthode 3)

pip uninstall litert-lm