LiteRT-LM CLI

Mit der LiteRT-LM-Befehlszeile können Sie Modelle ausführen und über das Terminal mit ihnen interagieren.

Installation

Folgen Sie der Installationsanleitung für uv, um uv zu installieren.

uv tool install litert-lm-nightly

pip verwenden

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Chat

Führen Sie das Modell über die CLI aus:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

Funktionsaufrufe / Tools

Sie können Tools mit Voreinstellungen ausführen. Erstellen Sie ein preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Mit Voreinstellung ausführen:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

Beispiel-Prompts und interaktive Ausgabe:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Was ist hier los?

Wenn Sie eine Frage stellen, für die externe Informationen erforderlich sind, z. B. die aktuelle Uhrzeit, erkennt das Modell, dass es ein Tool aufrufen muss.

  1. Modell gibt tool_call aus: Das Modell gibt eine JSON-Anfrage aus, um die Funktion get_current_time aufzurufen.
  2. CLI führt Tool aus: Die LiteRT-LM-CLI fängt diesen Aufruf ab und führt die entsprechende Python-Funktion aus, die in Ihrem preset.py definiert ist.
  3. CLI sendet tool_response: Die CLI sendet das Ergebnis zurück an das Modell.
  4. Modell generiert endgültige Antwort: Das Modell verwendet die Tool-Antwort, um die endgültige Antwort für den Nutzer zu berechnen und zu generieren.

Dieser „Function Calling“-Loop erfolgt automatisch in der CLI. So können Sie lokale LLMs mit Python-Funktionen erweitern, ohne komplexen Orchestrierungscode schreiben zu müssen.

Dieselben Funktionen sind über die Python-, C++- und Kotlin-APIs verfügbar.