LiteRT-LM CLI

Mit der Befehlszeile können Sie Modelle sofort testen – ohne Programmierung.

Unterstützte Plattformen:

  • Linux
  • macOS
  • Windows
  • Raspberry Pi

Installation

litert-lm sofort ausführen, ohne sie dauerhaft zu installieren. Erfordert uv.

Sie können jedem litert-lm-Befehl das Präfix uvx voranstellen, um ihn bei Bedarf auszuführen:

uvx litert-lm run --help

Methode 2: uv (persistente Installation)

Installiert litert-lm als systemweite Binärdatei. Erfordert uv.

uv tool install litert-lm

Methode 3: pip

Standardinstallation in einer virtuellen Umgebung. Wenn Sie --upgrade verwenden, erhalten Sie die neueste Version, auch wenn bereits eine frühere Version installiert war.

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm

Upgrade wird durchgeführt

So führen Sie ein Upgrade von litert-lm auf die neueste Version durch:

Wenn Sie uvx verwenden (Methode 1)

Es sind keine weiteren Schritte erforderlich. uvx führt automatisch die neueste Version aus.

Wenn die Installation mit uv (Methode 2) erfolgt ist

uv tool upgrade litert-lm

Wenn die Installation mit pip erfolgt ist (Methode 3)

Aktivieren Sie Ihre virtuelle Umgebung und führen Sie Folgendes aus:

pip install --upgrade litert-lm

Chat

Modell von Hugging Face herunterladen und ausführen:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

🔴 Neu: Multi-Token Prediction (MTP)

Die Multi-Token-Vorhersage (Multi-Token Prediction, MTP) ist eine Leistungsoptimierung, die die Decodierungsgeschwindigkeit erheblich beschleunigt. MTP wird für alle Aufgaben auf GPU-Back-Ends empfohlen.

Verwenden Sie das Flag --enable-speculative-decoding=true, um MTP in der CLI zu aktivieren:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --backend=gpu \
  --enable-speculative-decoding=true \
  --prompt="What is the capital of France?"

Funktionsaufrufe / Tools

Sie können Tools mit Voreinstellungen ausführen. Erstellen Sie ein preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Mit Voreinstellung ausführen:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

Beispiel-Prompts und interaktive Ausgabe:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Was ist hier los?

Wenn Sie eine Frage stellen, für die externe Informationen erforderlich sind, z. B. die aktuelle Uhrzeit, erkennt das Modell, dass es ein Tool aufrufen muss.

  1. Modell gibt tool_call aus: Das Modell gibt eine JSON-Anfrage aus, um die Funktion get_current_time aufzurufen.
  2. CLI führt Tool aus: Die LiteRT-LM-CLI fängt diesen Aufruf ab und führt die entsprechende Python-Funktion aus, die in Ihrem preset.py definiert ist.
  3. CLI sendet tool_response: Die CLI sendet das Ergebnis zurück an das Modell.
  4. Modell generiert endgültige Antwort: Das Modell verwendet die Tool-Antwort, um die endgültige Antwort für den Nutzer zu berechnen und zu generieren.

Dieser „Function Calling“-Loop erfolgt automatisch in der CLI. So können Sie lokale LLMs mit Python-Funktionen erweitern, ohne komplexen Orchestrierungscode schreiben zu müssen.

Dieselben Funktionen sind über die Python-, C++- und Kotlin-APIs verfügbar.

Wird deinstalliert

So deinstallieren Sie litert-lm:

Wenn Sie uvx verwenden (Methode 1)

Es sind keine weiteren Schritte erforderlich. uvx wird aus einem temporären Cache ausgeführt und nicht dauerhaft installiert.

Wenn die Installation mit uv (Methode 2) erfolgt ist

uv tool uninstall litert-lm

Wenn die Installation mit pip erfolgt ist (Methode 3)

pip uninstall litert-lm