Interfejs wiersza poleceń LiteRT-LM

Interfejs wiersza poleceń LiteRT-LM umożliwia uruchamianie modeli i interakcję z nimi za pomocą terminala.

Instalacja

Aby zainstalować uv, postępuj zgodnie z przewodnikiem instalacji uv.

uv tool install litert-lm-nightly

Jak korzystać z aplikacji pip

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Czat

Uruchom model za pomocą interfejsu wiersza poleceń:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

Wywoływanie funkcji / narzędzia

Możesz uruchamiać narzędzia z ustawieniami wstępnymi. Utwórz preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Uruchom z ustawieniami wstępnymi:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

Przykładowe prompty i interaktywne dane wyjściowe:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Co się tutaj dzieje?

Gdy zadajesz pytanie, które wymaga informacji zewnętrznych (np. aktualnej godziny), model rozpoznaje, że musi wywołać narzędzie.

  1. Model wysyła tool_call: model wysyła żądanie w formacie JSON, aby wywołać funkcję get_current_time.
  2. CLI Executes Tool: interfejs wiersza poleceń LiteRT-LM przechwytuje to wywołanie i wykonuje odpowiednią funkcję Pythona zdefiniowaną w pliku preset.py.
  3. Interfejs wiersza poleceń wysyła tool_response: interfejs wiersza poleceń wysyła wynik z powrotem do modelu.
  4. Model generuje ostateczną odpowiedź: model wykorzystuje odpowiedź narzędzia do obliczenia i wygenerowania ostatecznej odpowiedzi dla użytkownika.

Ta pętla „wywoływania funkcji” odbywa się automatycznie w interfejsie wiersza poleceń, co pozwala rozszerzać lokalne modele LLM o funkcje Pythona bez pisania złożonego kodu orkiestracji.

Te same funkcje są dostępne w interfejsach API w językach Python, C++ i Kotlin.