LiteRT-LM CLI

تتيح لك واجهة سطر الأوامر (CLI) اختبار النماذج على الفور بدون استخدام رمز.

المنصات المتوافقة:

  • Linux
  • macOS
  • Windows
  • Raspberry Pi

تثبيت

تشغيل litert-lm على الفور بدون تثبيته بشكل دائم يتطلب uv.

يمكنك إضافة البادئة uvx إلى أي أمر litert-lm لتشغيله عند الطلب:

uvx litert-lm run --help

الطريقة 2: uv (التثبيت الدائم)

تثبِّت litert-lm كبرنامج ثنائي على مستوى النظام. يتطلّب uv.

uv tool install litert-lm

الطريقة 3: pip

التثبيت العادي ضمن بيئة افتراضية يضمن استخدام --upgrade حصولك على أحدث إصدار حتى إذا كان إصدار سابق مثبّتًا.

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm

تجري ترقيته

لترقية تطبيق litert-lm إلى أحدث إصدار، اتّبِع الخطوات التالية:

في حال استخدام uvx (الطريقة 1)

ليس عليك اتّخاذ أي إجراء. يتم تشغيل أحدث إصدار من uvx تلقائيًا.

إذا تم التثبيت باستخدام uv (الطريقة 2)

uv tool upgrade litert-lm

إذا تم التثبيت باستخدام pip (الطريقة 3)

فعِّل بيئتك الافتراضية ونفِّذ ما يلي:

pip install --upgrade litert-lm

محادثة

نزِّل النموذج من HuggingFace وشغِّله:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

🔴 ميزة جديدة: توقّع رموز مميّزة متعددة (MTP)

تُعدّ ميزة "توقّع الرموز المتعددة" (MTP) تحسينًا للأداء يؤدي إلى تسريع عمليات فك الترميز بشكل كبير. يُنصح باستخدام MTP بشكل عام لجميع المهام على الخلفيات التي تستخدم وحدات معالجة الرسومات.

لتفعيل MTP في واجهة سطر الأوامر، استخدِم العلامة --enable-speculative-decoding=true:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --backend=gpu \
  --enable-speculative-decoding=true \
  --prompt="What is the capital of France?"

استدعاء الدالة / الأدوات

يمكنك تشغيل الأدوات باستخدام الإعدادات المُسبقة. إنشاء preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

التشغيل باستخدام الإعداد المُسبَق:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

أمثلة على الطلبات والنتائج التفاعلية:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

ما الذي يحدث هنا؟

عندما تطرح سؤالاً يتطلّب معلومات خارجية (مثل الوقت الحالي)، يدرك النموذج أنّه بحاجة إلى استخدام أداة.

  1. النموذج يرسل tool_call: يرسل النموذج طلب JSON لاستدعاء الدالة get_current_time.
  2. تنفيذ الأداة من خلال واجهة سطر الأوامر: تعترض واجهة سطر الأوامر LiteRT-LM هذا الطلب وتنفّذ دالة Python المقابلة المحدّدة في preset.py.
  3. إرسال CLI tool_response: يرسل CLI النتيجة مرة أخرى إلى النموذج.
  4. النموذج ينشئ الإجابة النهائية: يستخدم النموذج ردّ الأداة لاحتساب الإجابة النهائية وإنشائها للمستخدم.

تحدث حلقة "استدعاء الدالة" هذه تلقائيًا ضمن واجهة سطر الأوامر، ما يتيح لك تعزيز نماذج اللغات الكبيرة المحلية بإمكانات Python بدون كتابة أي رمز معقّد للتنسيق.

تتوفّر الإمكانات نفسها من واجهات برمجة التطبيقات Python وC++‎ وKotlin.

جارٍ الإزالة

لإلغاء تثبيت litert-lm، اتّبِع الخطوات التالية:

في حال استخدام uvx (الطريقة 1)

ليس عليك اتّخاذ أي إجراء. يتم تشغيل uvx من ذاكرة تخزين مؤقتة مؤقتة ولا يتم تثبيته بشكل دائم.

إذا تم التثبيت باستخدام uv (الطريقة 2)

uv tool uninstall litert-lm

إذا تم التثبيت باستخدام pip (الطريقة 3)

pip uninstall litert-lm