LiteRT-LM コマンドライン インターフェース（CLI）を使用すると、モデルを実行してターミナルで操作できます。
インストール
uv の使用（推奨）
uv インストール ガイドに沿って uv をインストールします。
uv tool install litert-lm-nightly
pip の使用
python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly
チャット
CLI を使用してモデルを実行します。
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"
関数呼び出し / ツール
プリセットを使用してツールを実行できます。preset.py を作成します。
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
プリセットで実行:
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py
プロンプトとインタラクティブ出力の例:
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
ここで何が起こっているのか
外部情報（現在時刻など）を必要とする質問をすると、モデルはツールを呼び出す必要があることを認識します。
- モデルが
tool_callを出力: モデルがget_current_time関数を呼び出すための JSON リクエストを出力します。 - CLI Executes Tool: LiteRT-LM CLI がこの呼び出しをインターセプトし、
preset.pyで定義された対応する Python 関数を実行します。 - CLI が
tool_responseを送信: CLI が結果をモデルに返します。 - モデルが最終的な回答を生成する: モデルはツールのレスポンスを使用して、ユーザーに対する最終的な回答を計算して生成します。
この「関数呼び出し」ループは CLI 内で自動的に行われるため、複雑なオーケストレーション コードを記述することなく、ローカル LLM を Python 機能で拡張できます。
Python、C++、Kotlin の各 API からも同じ機能を利用できます。