رابط خط فرمان (CLI) LiteRT-LM به شما امکان میدهد مدلها را اجرا کنید و با استفاده از ترمینال با آنها تعامل داشته باشید.
نصب
استفاده از uv (توصیه میشود)
برای نصب UV، راهنمای نصب uv را دنبال کنید.
uv tool install litert-lm-nightly
استفاده از pip
python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly
چت
مدل را با استفاده از CLI اجرا کنید:
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"
فراخوانی تابع / ابزارها
شما میتوانید ابزارها را با تنظیمات از پیش تعیینشده اجرا کنید. یک preset.py ایجاد کنید:
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
اجرا با تنظیمات از پیش تعیین شده:
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py
نمونه اعلانها و خروجی تعاملی:
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
اینجا چه اتفاقی دارد میافتد؟
وقتی سوالی میپرسید که به اطلاعات خارجی (مانند زمان فعلی) نیاز دارد، مدل تشخیص میدهد که باید ابزاری را فراخوانی کند.
- Model Emits
tool_call: مدل یک درخواست JSON برای فراخوانی تابعget_current_timeارسال میکند. - ابزار اجرای خط فرمان (CLI) : رابط خط فرمان LiteRT-LM این فراخوانی را رهگیری کرده و تابع پایتون مربوطه را که در
preset.pyشما تعریف شده است، اجرا میکند. - CLI
tool_responseارسال میکند : CLI نتیجه را به مدل ارسال میکند. - مدل پاسخ نهایی را تولید میکند : مدل از ابزار پاسخ برای محاسبه و تولید پاسخ نهایی برای کاربر استفاده میکند.
این حلقه «فراخوانی تابع» به طور خودکار در رابط خط فرمان (CLI) اتفاق میافتد و به شما امکان میدهد LLM های محلی را با قابلیتهای پایتون و بدون نوشتن هیچ کد تنظیم پیچیدهای، تقویت کنید.
همین قابلیتها از طریق APIهای پایتون، سیپلاسپلاس و کاتلین نیز در دسترس هستند.