CLI LiteRT-LM

L'interface de ligne de commande (CLI) LiteRT-LM vous permet d'exécuter des modèles et d'interagir avec eux à l'aide du terminal.

Installation

Suivez le guide d'installation uv pour installer uv.

uv tool install litert-lm-nightly

Utiliser pip

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Chat

Exécutez le modèle à l'aide de la CLI :

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

Appel de fonction / Outils

Vous pouvez exécuter des outils avec des préréglages. Créez une preset.py :

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Exécuter avec un préréglage :

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

Exemples de requêtes et de résultats interactifs :

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Que se passe-t-il ?

Lorsque vous posez une question qui nécessite des informations externes (comme l'heure actuelle), le modèle reconnaît qu'il doit appeler un outil.

  1. Le modèle émet tool_call : le modèle génère une requête JSON pour appeler la fonction get_current_time.
  2. CLI exécute l'outil : la CLI LiteRT-LM intercepte cet appel et exécute la fonction Python correspondante définie dans votre preset.py.
  3. La CLI envoie tool_response : la CLI renvoie le résultat au modèle.
  4. Le modèle génère la réponse finale : le modèle utilise la réponse de l'outil pour calculer et générer la réponse finale pour l'utilisateur.

Cette boucle "Function Calling" se produit automatiquement dans la CLI, ce qui vous permet d'augmenter les LLM locaux avec des fonctionnalités Python sans écrire de code d'orchestration complexe.

Les mêmes fonctionnalités sont disponibles dans les API Python, C++ et Kotlin.