LiteRT-LM CLI

อินเทอร์เฟซบรรทัดคำสั่ง (CLI) ช่วยให้คุณทดสอบโมเดลได้ทันทีโดยไม่ต้องเขียนโค้ด

แพลตฟอร์มที่รองรับ

  • Linux
  • macOS
  • Windows
  • Raspberry Pi

การติดตั้ง

เรียกใช้ litert-lm ได้ทันทีโดยไม่ต้องติดตั้งถาวร ต้องมี uv

คุณสามารถนำหน้าคำสั่ง litert-lm ด้วย uvx เพื่อดำเนินการตามต้องการได้

uvx litert-lm run --help

วิธีที่ 2: uv (การติดตั้งถาวร)

ติดตั้ง litert-lm เป็นไบนารีทั้งระบบ ต้องมี uv

uv tool install litert-lm

วิธีที่ 3: pip

การติดตั้งมาตรฐานภายในสภาพแวดล้อมเสมือน การใช้ --upgrade จะช่วยให้คุณได้รับเวอร์ชันล่าสุดแม้ว่าจะติดตั้งเวอร์ชันก่อนหน้าไว้แล้วก็ตาม

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm

กำลังอัปเกรด

วิธีอัปเกรด litert-lm เป็นเวอร์ชันล่าสุด

หากใช้ uvx (วิธีที่ 1)

ไม่ต้องดำเนินการใดๆ uvx จะเรียกใช้เวอร์ชันล่าสุดโดยอัตโนมัติ

หากติดตั้งด้วย uv (วิธีที่ 2)

uv tool upgrade litert-lm

หากติดตั้งด้วย pip (วิธีที่ 3)

เปิดใช้งานสภาพแวดล้อมเสมือนและเรียกใช้คำสั่งต่อไปนี้

pip install --upgrade litert-lm

แชท

ดาวน์โหลดจาก HuggingFace และเรียกใช้โมเดล

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

🔴 ใหม่: การคาดการณ์หลายโทเค็น (MTP)

การคาดการณ์หลายโทเค็น (MTP) คือการเพิ่มประสิทธิภาพที่ช่วย เร่งความเร็วในการถอดรหัสได้อย่างมาก เราขอแนะนำให้ใช้ MTP สำหรับงานทั้งหมดในแบ็กเอนด์ GPU

หากต้องการเปิดใช้ MTP ใน CLI ให้ใช้แฟล็ก --enable-speculative-decoding=true

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --backend=gpu \
  --enable-speculative-decoding=true \
  --prompt="What is the capital of France?"

การเรียกใช้ฟังก์ชัน / เครื่องมือ

คุณเรียกใช้เครื่องมือด้วยค่าที่กำหนดล่วงหน้าได้ สร้าง preset.py

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

เรียกใช้ด้วยค่าที่กำหนดล่วงหน้า

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

ตัวอย่างพรอมต์และเอาต์พุตแบบอินเทอร์แอกทีฟ

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

สิ่งที่เกิดขึ้น

เมื่อคุณถามคำถามที่ต้องใช้ข้อมูลภายนอก (เช่น เวลาปัจจุบัน) โมเดลจะรับรู้ว่าต้องเรียกใช้เครื่องมือ

  1. โมเดลส่งออก tool_call: โมเดลจะแสดงคำขอ JSON เพื่อเรียกใช้ฟังก์ชัน get_current_time
  2. CLI Executes Tool: CLI ของ LiteRT-LM จะสกัดกั้นการเรียกนี้และเรียกใช้ฟังก์ชัน Python ที่เกี่ยวข้องซึ่งกำหนดไว้ใน preset.py
  3. CLI ส่ง tool_response: CLI จะส่งผลลัพธ์กลับไปยังโมเดล
  4. โมเดลสร้างคำตอบสุดท้าย: โมเดลจะใช้การตอบกลับของเครื่องมือเพื่อคำนวณและสร้างคำตอบสุดท้ายสำหรับผู้ใช้

ลูป "การเรียกใช้ฟังก์ชัน" นี้จะเกิดขึ้นโดยอัตโนมัติภายใน CLI ซึ่งช่วยให้คุณเพิ่มความสามารถของ LLM ในเครื่องด้วยความสามารถของ Python โดยไม่ต้องเขียนโค้ดการจัดการเป็นกลุ่มที่ซับซ้อน

ความสามารถเดียวกันนี้มีให้บริการจาก API ของ Python, C++ และ Kotlin

กำลังถอนการติดตั้ง

วิธีถอนการติดตั้ง litert-lm

หากใช้ uvx (วิธีที่ 1)

ไม่ต้องดำเนินการใดๆ uvx ทำงานจากแคชชั่วคราวและไม่ได้ติดตั้งอย่างถาวร

หากติดตั้งด้วย uv (วิธีที่ 2)

uv tool uninstall litert-lm

หากติดตั้งด้วย pip (วิธีที่ 3)

pip uninstall litert-lm