LiteRT-LM CLI

Komut satırı arayüzü (CLI), modelleri kod gerekmeden hemen test etmenize olanak tanır.

Desteklenen platformlar:

  • Linux
  • macOS
  • Windows
  • Raspberry Pi

Kurulum

litert-lm uygulamasını kalıcı olarak yüklemeden hemen çalıştırabilirsiniz. uv gerektirir.

İstediğiniz zaman uygulamak için litert-lm komutlarının başına uvx ekleyebilirsiniz:

uvx litert-lm run --help

2. yöntem: uv (Kalıcı yükleme)

litert-lm, sistem genelinde ikili program olarak yüklenir. uv gerektirir.

uv tool install litert-lm

3. yöntem: pip

Sanal ortamda standart yükleme. --upgrade kullanmak, önceki bir sürüm zaten yüklü olsa bile en son sürümü almanızı sağlar.

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm

Yeni sürüme geçiliyor

litert-lm uygulamasını en yeni sürüme yükseltmek için:

uvx kullanıyorsanız (1. yöntem)

Herhangi bir işlem yapmanız gerekmez. uvx, en son sürümü otomatik olarak çalıştırır.

uv ile yüklendiyse (2. yöntem)

uv tool upgrade litert-lm

pip ile yüklendiyse (3. Yöntem)

Sanal ortamınızı etkinleştirin ve şu komutu çalıştırın:

pip install --upgrade litert-lm

Sohbet

HuggingFace'ten indirip modeli çalıştırma:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

🔴 Yeni: Çok Jetonlu Tahmin (MTP)

Çoklu jeton tahmini (MTP), kod çözme hızlarını önemli ölçüde artıran bir performans optimizasyonudur. MTP, GPU arka uçlarındaki tüm görevler için evrensel olarak önerilir.

KSA'da MTP'yi etkinleştirmek için --enable-speculative-decoding=true işaretini kullanın:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --backend=gpu \
  --enable-speculative-decoding=true \
  --prompt="What is the capital of France?"

İşlev Çağırma / Araçlar

Araçları hazır ayarları kullanarak çalıştırabilirsiniz. preset.py oluşturma:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Hazır ayarla çalıştırma:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

Örnek istemler ve etkileşimli çıkış:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

What is Happening Here?

Harici bilgi (ör. şu anki saat) gerektiren bir soru sorduğunuzda model, bir araç çağırması gerektiğini anlar.

  1. Model Emits tool_call: Model, get_current_time işlevini çağırmak için bir JSON isteği çıkışı verir.
  2. CLI Executes Tool: LiteRT-LM CLI, bu çağrıyı yakalar ve preset.py içinde tanımlanan ilgili Python işlevini yürütür.
  3. CLI, tool_response gönderir: CLI, sonucu modele geri gönderir.
  4. Model, Nihai Yanıtı Oluşturur: Model, kullanıcının nihai yanıtını hesaplamak ve oluşturmak için araç yanıtını kullanır.

Bu "işlev çağrısı" döngüsü, KSA'da otomatik olarak gerçekleşir. Böylece, karmaşık düzenleme kodu yazmadan yerel LLM'leri Python özellikleriyle artırabilirsiniz.

Aynı özellikler Python, C++ ve Kotlin API'lerinde de kullanılabilir.

Kaldırılıyor

litert-lm uygulamasını kaldırmak için:

uvx kullanıyorsanız (1. yöntem)

Herhangi bir işlem yapmanız gerekmez. uvx, geçici bir önbellekten çalışır ve kalıcı olarak yüklenmez.

uv ile yüklendiyse (2. yöntem)

uv tool uninstall litert-lm

pip ile yüklendiyse (3. Yöntem)

pip uninstall litert-lm