LiteRT-LM CLI

Komut satırı arayüzü (CLI), modelleri kod gerekmeden anında test etmenize olanak tanır.

Desteklenen platformlar:

  • Linux
  • macOS
  • Windows (WSL aracılığıyla)
  • Raspberry Pi

Kurulum

litert-lm, sistem genelinde ikili program olarak yüklenir. uv gerektirir.

uv tool install litert-lm

2. yöntem: pip

Sanal ortamda standart yükleme.

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm

Sohbet

HuggingFace'ten indirip modeli çalıştırma:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

İşlev Çağırma / Araçlar

Araçları hazır ayarları kullanarak çalıştırabilirsiniz. preset.py oluşturma:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Hazır ayarla çalıştırma:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

Örnek istemler ve etkileşimli çıkış:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

What is Happening Here?

Harici bilgi (ör. şu anki saat) gerektiren bir soru sorduğunuzda model, bir araç çağırması gerektiğini anlar.

  1. Model Çıktısı tool_call: Model, get_current_time işlevini çağırmak için bir JSON isteği çıkışı verir.
  2. CLI Executes Tool: LiteRT-LM CLI, bu çağrıyı yakalar ve preset.py içinde tanımlanan ilgili Python işlevini yürütür.
  3. KSA tool_response Gönderir: KSA, sonucu modele geri gönderir.
  4. Model, Nihai Yanıtı Oluşturur: Model, kullanıcının nihai yanıtını hesaplamak ve oluşturmak için araç yanıtını kullanır.

Bu "işlev çağrısı" döngüsü, KSA'da otomatik olarak gerçekleşir. Böylece, karmaşık bir düzenleme kodu yazmadan yerel LLM'leri Python özellikleriyle zenginleştirebilirsiniz.

Aynı özellikler Python, C++ ve Kotlin API'lerinde de kullanılabilir.