LiteRT-LM CLI

تتيح لك واجهة سطر الأوامر (CLI) الخاصة بـ LiteRT-LM تشغيل النماذج والتفاعل معها باستخدام نافذة الأوامر.

تثبيت

اتّبِع دليل تثبيت uv لتثبيت uv.

uv tool install litert-lm-nightly

جارٍ استخدام pip

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

محادثة

شغِّل النموذج باستخدام واجهة سطر الأوامر:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

استدعاء الدالة / الأدوات

يمكنك تشغيل الأدوات باستخدام الإعدادات المُسبقة. إنشاء preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

التشغيل باستخدام إعداد مُسبَق:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

أمثلة على الطلبات والنتائج التفاعلية:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

ما الذي يحدث هنا؟

عندما تطرح سؤالاً يتطلّب معلومات خارجية (مثل الوقت الحالي)، يدرك النموذج أنّه بحاجة إلى استخدام أداة.

  1. النموذج يرسل tool_call: يرسل النموذج طلب JSON لاستدعاء الدالة get_current_time.
  2. تنفيذ الأداة من خلال واجهة سطر الأوامر: تعترض واجهة سطر الأوامر LiteRT-LM هذا الطلب وتنفّذ دالة Python المقابلة المحدّدة في preset.py.
  3. إرسال CLI tool_response: يرسل CLI النتيجة مرة أخرى إلى النموذج.
  4. النموذج ينشئ الإجابة النهائية: يستخدم النموذج ردّ الأداة لاحتساب الإجابة النهائية وإنشائها للمستخدم.

تحدث حلقة "استدعاء الدوال" هذه تلقائيًا ضمن واجهة سطر الأوامر، ما يتيح لك تعزيز نماذج اللغات الكبيرة المحلية بإمكانات Python بدون كتابة أي رمز معقّد للتنسيق.

تتوفّر الإمكانات نفسها من واجهات برمجة التطبيقات Python وC++‎ وKotlin.