CLI LiteRT-LM

L'interface de ligne de commande (CLI) vous permet de tester immédiatement les modèles. Aucun code n'est requis.

Plates-formes compatibles :

  • Linux
  • macOS
  • Windows (via WSL)
  • Raspberry Pi

Installation

Installe litert-lm en tant que binaire à l'échelle du système. Nécessite uv.

uv tool install litert-lm-nightly

Méthode 2 : pip

Installation standard dans un environnement virtuel.

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Chat

Téléchargez le modèle depuis HuggingFace et exécutez-le :

litert-lm run  \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --prompt="What is the capital of France?"

Appel de fonction / Outils

Vous pouvez exécuter des outils avec des préréglages. Créez un fichier preset.py :

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Exécutez avec le préréglage :

litert-lm run  \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --preset=preset.py

Exemples de requêtes et de résultats interactifs :

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Description de l'étape

Lorsque vous posez une question qui nécessite des informations externes (comme l'heure actuelle), le modèle reconnaît qu'il doit appeler un outil.

  1. Le modèle émet tool_call : le modèle génère une requête JSON pour appeler la fonction get_current_time.
  2. La CLI exécute l'outil : la CLI LiteRT-LM intercepte cet appel et exécute la fonction Python correspondante définie dans votre preset.py.
  3. La CLI envoie tool_response : la CLI renvoie le résultat au modèle.
  4. Le modèle génère la réponse finale : le modèle utilise la réponse de l'outil pour calculer et générer la réponse finale pour l'utilisateur.

Cette boucle d'appel de fonction se produit automatiquement dans la CLI, ce qui vous permet d'améliorer les LLM locaux avec des fonctionnalités Python sans écrire de code d'orchestration complexe.

Les mêmes fonctionnalités sont disponibles à partir des API Python, C++, et Kotlin.