LiteRT-LM CLI

Ndërfaqja e Linjës së Komandës (CLI) LiteRT-LM ju lejon të ekzekutoni modele dhe të bashkëveproni me to duke përdorur terminalin.

Instalimi

Ndiqni udhëzuesin e instalimit UV për të instaluar uv .

uv tool install litert-lm-nightly

Duke përdorur pip 

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Bisedë

Ekzekutoni modelin duke përdorur CLI:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

Thirrja e Funksionit / Mjetet

Mund të ekzekutoni mjete me paracaktime. Krijoni një preset.py :

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Ekzekutoni me parazgjedhjen:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

Shembuj të udhëzimeve dhe rezultateve interaktive:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Çfarë po ndodh këtu?

Kur bëni një pyetje që kërkon informacion të jashtëm (si koha aktuale), modeli e njeh se duhet të thërrasë një mjet.

  1. Modeli lëshon tool_call : Modeli nxjerr një kërkesë JSON për të thirrur funksionin get_current_time .
  2. Mjeti i Ekzekutimit të CLI : CLI i LiteRT-LM kap këtë thirrje dhe ekzekuton funksionin përkatës Python të përcaktuar në preset.py tuaj.
  3. CLI dërgon tool_response : CLI e dërgon rezultatin përsëri te modeli.
  4. Modeli Gjeneron Përgjigjen Përfundimtare : Modeli përdor përgjigjen e mjetit për të llogaritur dhe gjeneruar përgjigjen përfundimtare për përdoruesin.

Ky cikël "Thirrje Funksioni" ndodh automatikisht brenda CLI-së, duke ju lejuar të plotësoni LLM-të lokale me aftësi Python pa shkruar ndonjë kod kompleks orkestrimi.

Të njëjtat aftësi janë të disponueshme nga API-të Python, C++ dhe Kotlin.