LiteRT-LM CLI

Giao diện dòng lệnh (CLI) cho phép bạn kiểm thử các mô hình ngay lập tức mà không cần mã.

Nền tảng được hỗ trợ:

  • Linux
  • macOS
  • Windows
  • Raspberry Pi

Cài đặt

Cài đặt litert-lm dưới dạng tệp nhị phân trên toàn hệ thống. Yêu cầu phải có uv.

uv tool install litert-lm

Phương thức 2: pip

Cài đặt tiêu chuẩn trong môi trường ảo.

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm

Trò chuyện

Tải xuống từ HuggingFace và chạy mô hình:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="What is the capital of France?"

🔴 Mới: Dự đoán nhiều mã thông báo (MTP)

Dự đoán nhiều token (MTP) là một phương pháp tối ưu hoá hiệu suất giúp tăng tốc đáng kể tốc độ giải mã. MTP được đề xuất cho tất cả các tác vụ trên các phần phụ trợ GPU.

Để bật MTP trong CLI, hãy sử dụng cờ --enable-speculative-decoding=true:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --backend=gpu \
  --enable-speculative-decoding=true \
  --prompt="What is the capital of France?"

Gọi hàm / Công cụ

Bạn có thể chạy các công cụ bằng chế độ cài đặt sẵn. Tạo một preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Chạy với chế độ đặt sẵn:

litert-lm run  \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --preset=preset.py

Câu lệnh mẫu và kết quả tương tác:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Điều gì đang xảy ra?

Khi bạn đặt một câu hỏi cần thông tin bên ngoài (chẳng hạn như thời gian hiện tại), mô hình sẽ nhận ra rằng nó cần gọi một công cụ.

  1. Mô hình phát ra tool_call: Mô hình xuất ra một yêu cầu JSON để gọi hàm get_current_time.
  2. Công cụ thực thi CLI: CLI LiteRT-LM chặn lệnh gọi này và thực thi hàm Python tương ứng được xác định trong preset.py.
  3. CLI gửi tool_response: CLI gửi kết quả trở lại mô hình.
  4. Mô hình tạo câu trả lời cuối cùng: Mô hình sử dụng câu trả lời của công cụ để tính toán và tạo câu trả lời cuối cùng cho người dùng.

Vòng lặp "Gọi hàm" này diễn ra tự động trong CLI, cho phép bạn tăng cường các LLM cục bộ bằng các chức năng của Python mà không cần viết mã điều phối phức tạp.

Các API Python, C++ và Kotlin cũng có các chức năng tương tự.