رابط خط فرمان (CLI) به شما امکان میدهد مدلها را فوراً آزمایش کنید - بدون نیاز به کد.
پلتفرمهای پشتیبانیشده:
- لینوکس
- مکاواس
- ویندوز (از طریق WSL)
- رزبری پای
نصب
روش ۱: uv (توصیه میشود)
litert-lm به عنوان یک فایل باینری در کل سیستم نصب میکند. به uv نیاز دارد.
uv tool install litert-lm
روش دوم: pip
نصب استاندارد در یک محیط مجازی.
python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm
چت
از HuggingFace دانلود کنید و مدل را اجرا کنید:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--prompt="What is the capital of France?"
فراخوانی تابع / ابزارها
شما میتوانید ابزارها را با تنظیمات از پیش تعیینشده اجرا کنید. یک preset.py ایجاد کنید:
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
اجرا با تنظیمات از پیش تعیین شده:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--preset=preset.py
نمونه اعلانها و خروجی تعاملی:
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
اینجا چه اتفاقی دارد میافتد؟
وقتی سوالی میپرسید که به اطلاعات خارجی (مانند زمان فعلی) نیاز دارد، مدل تشخیص میدهد که باید ابزاری را فراخوانی کند.
- Model Emits
tool_call: مدل یک درخواست JSON برای فراخوانی تابعget_current_timeارسال میکند. - ابزار اجرای خط فرمان (CLI) : رابط خط فرمان LiteRT-LM این فراخوانی را رهگیری کرده و تابع پایتون مربوطه را که در
preset.pyشما تعریف شده است، اجرا میکند. - CLI
tool_responseارسال میکند : CLI نتیجه را به مدل ارسال میکند. - مدل پاسخ نهایی را تولید میکند : مدل از ابزار پاسخ برای محاسبه و تولید پاسخ نهایی برای کاربر استفاده میکند.
این حلقه «فراخوانی تابع» به طور خودکار در رابط خط فرمان (CLI) اتفاق میافتد و به شما امکان میدهد LLM های محلی را با قابلیتهای پایتون و بدون نوشتن هیچ کد تنظیم پیچیدهای، تقویت کنید.
همین قابلیتها از طریق APIهای پایتون ، سیپلاسپلاس و کاتلین نیز در دسترس هستند.