LiteRT-LM CLI

Giao diện dòng lệnh (CLI) của LiteRT-LM cho phép bạn chạy các mô hình và tương tác với chúng bằng cửa sổ dòng lệnh.

Cài đặt

Làm theo hướng dẫn cài đặt uv để cài đặt uv.

uv tool install litert-lm-nightly

Sử dụng pip

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Chat (Trò chuyện)

Chạy mô hình bằng giao diện dòng lệnh:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

Gọi hàm / Công cụ

Bạn có thể chạy các công cụ bằng chế độ cài đặt sẵn. Tạo một preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Chạy với chế độ đặt sẵn:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

Câu lệnh mẫu và kết quả tương tác:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Điều gì đang xảy ra?

Khi bạn đặt một câu hỏi cần thông tin bên ngoài (chẳng hạn như thời gian hiện tại), mô hình sẽ nhận ra rằng nó cần gọi một công cụ.

  1. Mô hình phát ra tool_call: Mô hình xuất ra một yêu cầu JSON để gọi hàm get_current_time.
  2. Công cụ thực thi CLI: CLI LiteRT-LM sẽ chặn lệnh gọi này và thực thi hàm Python tương ứng được xác định trong preset.py.
  3. CLI Sends tool_response: CLI gửi kết quả trở lại mô hình.
  4. Mô hình tạo câu trả lời cuối cùng: Mô hình sử dụng câu trả lời của công cụ để tính toán và tạo câu trả lời cuối cùng cho người dùng.

Vòng lặp "Gọi hàm" này diễn ra tự động trong CLI, cho phép bạn tăng cường các LLM cục bộ bằng các chức năng của Python mà không cần viết mã điều phối phức tạp.

Các API Python, C++ và Kotlin cũng có những chức năng tương tự.