LiteRT-LM CLI

Mit der Befehlszeile können Sie Modelle sofort testen – ohne Code.

Unterstützte Plattformen :

  • Linux
  • macOS
  • Windows (über WSL)
  • Raspberry Pi

Installation

litert-lm wird als systemweite Binärdatei installiert. uv ist erforderlich.

uv tool install litert-lm-nightly

Methode 2: pip

Standardinstallation in einer virtuellen Umgebung.

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Chat

Modell von Hugging Face herunterladen und ausführen:

litert-lm run  \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --prompt="What is the capital of France?"

Funktionsaufrufe / Tools

Sie können Tools mit Voreinstellungen ausführen. preset.py erstellen:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Mit Voreinstellung ausführen:

litert-lm run  \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --preset=preset.py

Beispielprompts und interaktive Ausgabe:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Was passiert hier?

Wenn Sie eine Frage stellen, für die externe Informationen erforderlich sind (z. B. die aktuelle Uhrzeit), erkennt das Modell, dass ein Tool aufgerufen werden muss.

  1. Modell gibt tool_call aus: Das Modell gibt eine JSON-Anfrage aus, um die Funktion get_current_time aufzurufen.
  2. CLI führt Tool aus: Die LiteRT-LM-Befehlszeile fängt diesen Aufruf ab und führt die entsprechende Python-Funktion aus, die in preset.py definiert ist.
  3. CLI sendet tool_response: Die Befehlszeile sendet das Ergebnis an das Modell zurück.
  4. Modell generiert endgültige Antwort: Das Modell verwendet die Tool-Antwort, um die endgültige Antwort für den Nutzer zu berechnen und zu generieren.

Diese „Funktionsaufruf“-Schleife erfolgt automatisch in der Befehlszeile. So können Sie lokale LLMs mit Python-Funktionen erweitern, ohne komplexen Orchestrierungscode schreiben zu müssen.

Dieselben Funktionen sind über die Python, C++, und Kotlin APIs verfügbar.