رابط خط فرمان (CLI) به شما امکان میدهد مدلها را فوراً آزمایش کنید - بدون نیاز به کد.
پلتفرمهای پشتیبانیشده:
- لینوکس
- مکاواس
- ویندوز
- رزبری پای
نصب
روش ۱: uvx (برای آزمایش سریع توصیه میشود)
بلافاصله و بدون نصب دائمی litert-lm آن را اجرا کنید. به uv نیاز دارد.
شما میتوانید هر دستور litert-lm را با uvx پیشوند کنید تا در صورت نیاز اجرا شود:
uvx litert-lm run --help
روش ۲: uv (نصب پایدار)
litert-lm به عنوان یک فایل باینری در کل سیستم نصب میکند. به uv نیاز دارد.
uv tool install litert-lm
روش ۳: pip
نصب استاندارد در یک محیط مجازی. استفاده از --upgrade تضمین میکند که حتی اگر نسخه قبلی از قبل نصب شده باشد، آخرین نسخه را دریافت خواهید کرد.
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm
ارتقا
برای ارتقاء litert-lm به آخرین نسخه:
اگر از uvx استفاده میکنید (روش ۱)
هیچ اقدامی لازم نیست. uvx به طور خودکار آخرین نسخه را اجرا میکند.
در صورت نصب با uv (روش 2)
uv tool upgrade litert-lm
اگر با pip نصب شود (روش ۳)
محیط مجازی خود را فعال کنید و اجرا کنید:
pip install --upgrade litert-lm
چت
از HuggingFace دانلود کنید و مدل را اجرا کنید:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--prompt="What is the capital of France?"
🔴 جدید: پیشبینی چند توکنی (MTP)
پیشبینی چند توکنی (MTP) یک بهینهسازی عملکرد است که سرعت رمزگشایی را به میزان قابل توجهی افزایش میدهد. MTP به طور جهانی برای همه وظایف در پشت صحنه GPU توصیه میشود.
برای فعال کردن MTP در رابط خط فرمان (CLI)، از فلگ --enable-speculative-decoding=true استفاده کنید:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--backend=gpu \
--enable-speculative-decoding=true \
--prompt="What is the capital of France?"
فراخوانی تابع / ابزارها
شما میتوانید ابزارها را با تنظیمات از پیش تعیینشده اجرا کنید. یک preset.py ایجاد کنید:
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
اجرا با تنظیمات از پیش تعیین شده:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--preset=preset.py
نمونه اعلانها و خروجی تعاملی:
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
اینجا چه اتفاقی دارد میافتد؟
وقتی سوالی میپرسید که به اطلاعات خارجی (مانند زمان فعلی) نیاز دارد، مدل تشخیص میدهد که باید ابزاری را فراخوانی کند.
- Model Emits
tool_call: مدل یک درخواست JSON برای فراخوانی تابعget_current_timeارسال میکند. - ابزار اجرای خط فرمان (CLI) : رابط خط فرمان LiteRT-LM این فراخوانی را رهگیری کرده و تابع پایتون مربوطه را که در
preset.pyشما تعریف شده است، اجرا میکند. - رابط خط فرمان (CLI)
tool_responseارسال میکند : رابط خط فرمان نتیجه را به مدل ارسال میکند. - مدل پاسخ نهایی را تولید میکند : مدل از ابزار پاسخ برای محاسبه و تولید پاسخ نهایی برای کاربر استفاده میکند.
این حلقه «فراخوانی تابع» به طور خودکار در رابط خط فرمان (CLI) اتفاق میافتد و به شما امکان میدهد LLM های محلی را با قابلیتهای پایتون و بدون نوشتن هیچ کد تنظیم پیچیدهای، تقویت کنید.
همین قابلیتها از طریق APIهای پایتون ، سیپلاسپلاس و کاتلین نیز در دسترس هستند.
حذف نصب
برای حذف نصب litert-lm :
اگر از uvx استفاده میکنید (روش ۱)
هیچ اقدامی لازم نیست. uvx از یک حافظه موقت اجرا میشود و به طور دائم نصب نمیشود.
در صورت نصب با uv (روش 2)
uv tool uninstall litert-lm
اگر با pip نصب شود (روش ۳)
pip uninstall litert-lm