‫LiteRT-LM CLI

ממשק שורת הפקודה (CLI) מאפשר לבדוק מודלים באופן מיידי – בלי צורך בקוד.

פלטפורמות נתמכות:

• Linux
• macOS
• ‫Windows (דרך WSL)
• Raspberry Pi

התקנה

שיטה 1: uv (מומלץ)

הכלי מתקין את litert-lm כקובץ בינארי ברמת המערכת. נדרש uv.

uv tool install litert-lm

שיטה 2: pip

התקנה רגילה בסביבה וירטואלית.

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm

צ'אט

מורידים מ-HuggingFace ומריצים את המודל:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

בקשה להפעלת פונקציה / כלים

אפשר להפעיל כלים עם הגדרות קבועות מראש. יצירת preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

הפעלה עם הגדרה קבועה מראש:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

הנחיות לדוגמה ופלט אינטראקטיבי:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

מה קורה כאן?

כששואלים שאלה שדורשת מידע חיצוני (כמו השעה הנוכחית), המודל מזהה שהוא צריך להפעיל כלי.

1. ‫Model Emits tool_call: המודל מוציא בקשת JSON כדי להפעיל את הפונקציה get_current_time.
2. ‫CLI Executes Tool: ה-CLI של LiteRT-LM מיירט את הקריאה הזו ומריץ את פונקציית Python התואמת שמוגדרת ב-preset.py.
3. ‫CLI שולח tool_response: ממשק ה-CLI שולח את התוצאה בחזרה למודל.
4. המערכת יוצרת תשובה סופית: המודל משתמש בתשובה של הכלי כדי לחשב וליצור את התשובה הסופית למשתמש.

לולאת 'הפעלת פונקציות' מתרחשת אוטומטית ב-CLI, ומאפשרת לכם להוסיף יכולות Python למודלים מקומיים של LLM בלי לכתוב קוד מורכב של תזמור.

אותן יכולות זמינות גם בממשקי ה-API של Python,‏ C++‎ ו-Kotlin.