CLI LiteRT-LM

Antarmuka Command Line (CLI) LiteRT-LM memungkinkan Anda menjalankan model dan berinteraksi dengannya menggunakan terminal.

Penginstalan

Ikuti panduan penginstalan uv untuk menginstal uv.

uv tool install litert-lm-nightly

Menggunakan pip

python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly

Chat

Jalankan model menggunakan CLI:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"

Pemanggilan Fungsi / Alat

Anda dapat menjalankan alat dengan preset. Buat preset.py:

import datetime
import base64

def get_current_time() -> str:
    """Returns the current date and time."""
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]

Menjalankan dengan preset:

litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py

Contoh perintah dan output interaktif:

> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.

In two hours, it will be **2026-03-25 23:54:07**.

Apa yang Terjadi di Sini?

Saat Anda mengajukan pertanyaan yang memerlukan informasi eksternal (seperti waktu saat ini), model akan mengenali bahwa ia perlu memanggil alat.

  1. Model Memancarkan tool_call: Model menghasilkan permintaan JSON untuk memanggil fungsi get_current_time.
  2. CLI Menjalankan Alat: CLI LiteRT-LM mencegat panggilan ini dan menjalankan fungsi Python yang sesuai yang ditentukan di preset.py Anda.
  3. CLI Mengirim tool_response: CLI mengirimkan kembali hasilnya ke model.
  4. Model Membuat Jawaban Akhir: Model menggunakan respons alat untuk menghitung dan membuat jawaban akhir bagi pengguna.

Loop "Panggilan Fungsi" ini terjadi secara otomatis dalam CLI, sehingga Anda dapat meningkatkan kualitas LLM lokal dengan kemampuan Python tanpa menulis kode orkestrasi yang rumit.

Kemampuan yang sama tersedia dari API Python, C++, dan Kotlin.