LiteRT-LM CLI

تتيح لك واجهة سطر الأوامر (CLI) اختبار النماذج على الفور بدون استخدام رمز.

المنصات المتوافقة:

  • Linux
  • macOS
  • ‫Windows (عبر نظام Windows الفرعي لنظام Linux)
  • Raspberry Pi

تثبيت

تثبِّت litert-lm كبرنامج ثنائي على مستوى النظام. يتطلّب uv.

uv tool install litert-lm-nightly

الطريقة 2: pip

التثبيت العادي ضمن بيئة افتراضية

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

محادثة

نزِّل النموذج من HuggingFace وشغِّله:

litert-lm run  \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --prompt="What is the capital of France?"

استدعاء الدالة / الأدوات

يمكنك تشغيل الأدوات باستخدام الإعدادات المُسبقة. إنشاء preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

التشغيل باستخدام إعداد مُسبَق:

litert-lm run  \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --preset=preset.py

أمثلة على الطلبات والنتائج التفاعلية:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

ما الذي يحدث هنا؟

عندما تطرح سؤالاً يتطلّب معلومات خارجية (مثل الوقت الحالي)، يدرك النموذج أنّه بحاجة إلى استخدام أداة.

  1. النموذج يرسل tool_call: يرسل النموذج طلب JSON لاستدعاء الدالة get_current_time.
  2. تنفيذ الأداة من خلال واجهة سطر الأوامر: تعترض واجهة سطر الأوامر LiteRT-LM هذا الطلب وتنفّذ دالة Python المقابلة المحدّدة في preset.py.
  3. إرسال CLI tool_response: يرسل CLI النتيجة مرة أخرى إلى النموذج.
  4. النموذج ينشئ الإجابة النهائية: يستخدم النموذج ردّ الأداة لاحتساب الإجابة النهائية وإنشائها للمستخدم.

تحدث حلقة "استدعاء الدوال" هذه تلقائيًا ضمن واجهة سطر الأوامر، ما يتيح لك تعزيز نماذج اللغات الكبيرة المحلية بإمكانات Python بدون كتابة أي رمز معقّد للتنسيق.

تتوفّر الإمكانات نفسها من واجهات برمجة التطبيقات Python وC++‎ وKotlin.