‫LiteRT-LM CLI

ממשק שורת הפקודה (CLI) של LiteRT-LM מאפשר להריץ מודלים ולקיים איתם אינטראקציה באמצעות הטרמינל.

התקנה

שימוש ב-uv (מומלץ)

פועלים לפי מדריך ההתקנה של uv כדי להתקין את uv.

uv tool install litert-lm-nightly

שימוש ב-pip

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

צ'אט

מריצים את המודל באמצעות ה-CLI:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

בקשה להפעלת פונקציה / כלים

אפשר להפעיל כלים עם הגדרות קבועות מראש. יצירת preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

הפעלה עם הגדרה קבועה מראש:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

הנחיות לדוגמה ופלט אינטראקטיבי:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

מה קורה כאן?

כששואלים שאלה שדורשת מידע חיצוני (כמו השעה הנוכחית), המודל מזהה שהוא צריך להפעיל כלי.

1. ‫Model Emits tool_call: המודל מוציא בקשת JSON כדי להפעיל את הפונקציה get_current_time.
2. ‫CLI Executes Tool: ה-CLI של LiteRT-LM מיירט את הקריאה הזו ומריץ את פונקציית Python התואמת שמוגדרת ב-preset.py.
3. ‫CLI שולח tool_response: ממשק ה-CLI שולח את התוצאה בחזרה למודל.
4. המערכת יוצרת תשובה סופית: המודל משתמש בתשובה של הכלי כדי לחשב וליצור את התשובה הסופית למשתמש.

לולאת 'הפעלת פונקציות' מתרחשת אוטומטית ב-CLI, ומאפשרת לכם להוסיף יכולות Python למודלים מקומיים של LLM בלי לכתוב קוד מורכב של תזמור.

אותן היכולות זמינות מממשקי ה-API של Python,‏ C++‎ ו-Kotlin.