LiteRT-LM CLI

LiteRT-LM komut satırı arayüzü (CLI), modelleri çalıştırmanıza ve terminali kullanarak modellerle etkileşim kurmanıza olanak tanır.

Kurulum

uv'ı yüklemek için UV kurulum kılavuzunu uygulayın.

uv tool install litert-lm-nightly

pip kullanılıyor

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Sohbet

CLI'yı kullanarak modeli çalıştırın:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

İşlev Çağırma / Araçlar

Araçları hazır ayarları kullanarak çalıştırabilirsiniz. preset.py oluşturma:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Hazır ayarla çalıştırma:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

Örnek istemler ve etkileşimli çıkış:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

What is Happening Here?

Harici bilgi (ör. şu anki saat) gerektiren bir soru sorduğunuzda model, bir araç çağırması gerektiğini anlar.

  1. Model Çıktısı tool_call: Model, get_current_time işlevini çağırmak için bir JSON isteği çıkışı verir.
  2. CLI Executes Tool: LiteRT-LM CLI, bu çağrıyı yakalar ve preset.py içinde tanımlanan ilgili Python işlevini yürütür.
  3. KSA tool_response Gönderir: KSA, sonucu modele geri gönderir.
  4. Model, Nihai Yanıtı Oluşturur: Model, kullanıcının nihai yanıtını hesaplamak ve oluşturmak için araç yanıtını kullanır.

Bu "işlev çağrısı" döngüsü, KSA'da otomatik olarak gerçekleşir. Böylece, karmaşık bir düzenleme kodu yazmadan yerel LLM'leri Python özellikleriyle zenginleştirebilirsiniz.

Aynı özellikler Python, C++ ve Kotlin API'lerinde de kullanılabilir.