อินเทอร์เฟซบรรทัดคำสั่ง (CLI) ของ LiteRT-LM ช่วยให้คุณเรียกใช้โมเดลและโต้ตอบกับโมเดลได้โดยใช้เทอร์มินัล
การติดตั้ง
การใช้ uv (แนะนำ)
ทำตามคู่มือการติดตั้ง uv เพื่อติดตั้ง uv
uv tool install litert-lm-nightly
กำลังใช้ pip
python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly
แชท
เรียกใช้โมเดลโดยใช้ CLI
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"
การเรียกใช้ฟังก์ชัน / เครื่องมือ
คุณเรียกใช้เครื่องมือด้วยค่าที่กำหนดล่วงหน้าได้ สร้าง preset.py
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
เรียกใช้ด้วยค่าที่กำหนดล่วงหน้า
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py
ตัวอย่างพรอมต์และเอาต์พุตแบบอินเทอร์แอกทีฟ
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
สิ่งที่เกิดขึ้น
เมื่อคุณถามคำถามที่ต้องใช้ข้อมูลภายนอก (เช่น เวลาปัจจุบัน) โมเดลจะรับรู้ว่าต้องเรียกใช้เครื่องมือ
- โมเดลส่งออก
tool_call: โมเดลจะแสดงคำขอ JSON เพื่อเรียกใช้ฟังก์ชันget_current_time - CLI Executes Tool: CLI ของ LiteRT-LM จะสกัดกั้นการเรียกนี้และเรียกใช้ฟังก์ชัน Python ที่เกี่ยวข้องซึ่งกำหนดไว้ใน
preset.py - CLI ส่ง
tool_response: CLI จะส่งผลลัพธ์กลับไปยังโมเดล - โมเดลสร้างคำตอบสุดท้าย: โมเดลใช้การตอบกลับของเครื่องมือเพื่อคำนวณและสร้างคำตอบสุดท้ายสำหรับผู้ใช้
ลูป "การเรียกใช้ฟังก์ชัน" นี้จะเกิดขึ้นโดยอัตโนมัติภายใน CLI ซึ่งช่วยให้คุณเพิ่มความสามารถของ LLM ในเครื่องด้วยความสามารถของ Python โดยไม่ต้องเขียนโค้ดการจัดการเป็นกลุ่มที่ซับซ้อน
ความสามารถเดียวกันนี้พร้อมใช้งานจาก API ของ Python, C++ และ Kotlin