Pembuat File LiteRT-LM

litert-lm-builder Paket menyediakan alat Python dan Antarmuka Command Line (CLI) untuk mem-build, memeriksa, dan mengekstrak file container LiteRT-LM (.litertlm).

File .litertlm adalah satu container terpadu yang mengemas model TFLite, file tokenizer, bobot eksternal, dan metadata model terkait sehingga dapat didistribusikan dan dimuat oleh runtime LiteRT-LM.

Penginstalan

Instal paket litert-lm-builder dari PyPI.

Metode 1: uvx (Direkomendasikan untuk eksekusi cepat)

Jalankan CLI segera tanpa penginstalan permanen. Memerlukan uv.

uvx litert-lm-builder --help
uvx litert-lm-peek --help

Metode 2: pip

Penginstalan standar dalam lingkungan virtual:

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm-builder

Mem-build file .litertlm: litert-lm-builder

Gunakan CLI litert-lm-builder untuk mengemas komponen model Anda. Anda dapat melakukannya menggunakan file konfigurasi atau dengan menggabungkan argumen command line.

Penggunaan

Metode berikut dapat digunakan untuk menyiapkan file .litertlm menggunakan builder.

Metode 1: Mem-build menggunakan Konfigurasi TOML (Direkomendasikan)

Tentukan semua komponen, jalur, dan metadata dalam file konfigurasi TOML, lalu jalankan builder:

litert-lm-builder toml --path config.toml output --path model.litertlm

Contoh config.toml:

[system_metadata]
entries = [
  { key = "author", value_type = "String", value = "Authors" }
]

[[section]]
section_type = "LlmMetadata"
data_path = "path/to/llm_metadata.pb"

[[section]]
section_type = "SP_Tokenizer"
data_path = "path/to/sp.model"

[[section]]
section_type = "TFLiteModel"
model_type = "PREFILL_DECODE"
data_path = "path/to/model.tflite"
additional_metadata = [
  { key = "model_version", value_type = "String", value = "1.0.1" }
]

Metode 2: Mem-build menggunakan Argumen Command Line

Anda dapat mem-build container secara dinamis dengan menggabungkan subperintah di terminal. Urutan subperintah menentukan urutan bagian dalam file yang dihasilkan.

litert-lm-builder \
  system_metadata --str author "Authors" \
  llm_metadata --path path/to/llm_metadata.pb \
  sp_tokenizer --path path/to/sp.model \
  tflite_model --path path/to/model.tflite --model_type prefill_decode --str_metadata model_version "1.0.1" \
  output --path model.litertlm

Referensi Opsi CLI

CLI litert-lm-builder mendukung subperintah berikut:

  • output (Wajib): Menentukan jalur output.
    • --path PATH: Jalur untuk menyimpan file .litertlm yang di-build.
  • toml: Memuat konfigurasi dari file TOML.
    • --path PATH: Jalur ke file .toml.
  • system_metadata: Menambahkan metadata sistem global.
    • --str KEY VALUE: Menambahkan key-value pair string (dapat ditentukan beberapa kali).
    • --int KEY VALUE: Menambahkan key-value pair bilangan bulat (dapat ditentukan beberapa kali).
    • Catatan: Builder otomatis membuat dan menambahkan unikuuid dan creation_timestamp (dalam format UTC ISO 8601) ke metadata sistem. Jangan tentukan kunci ini secara manual. Kolom ini digunakan oleh runtime untuk mengidentifikasi build model secara unik dan mengelola pembatalan cache yang dikompilasi.
  • llm_metadata: Menambahkan konfigurasi khusus LLM.
    • --path PATH: Jalur ke metadata LLM (proto teks atau biner).
  • tflite_model: Menambahkan model TFLite.
    • --path PATH: Jalur ke file .tflite.
    • --model_type TYPE: Salah satu dari: embedder, prefill_decode (mewakili prefill dan decode), prefill, decode.
    • --backend_constraint BACKEND: (Opsional) Batasan backend (misalnya, gpu, cpu, npu).
    • --prefer_activation_type TYPE: (Opsional) Jenis aktivasi pilihan (fp16, fp32, fp32_fp16).
    • --str_metadata KEY VALUE: (Opsional) Metadata string untuk bagian model ini.
  • sp_tokenizer: Menambahkan tokenizer SentencePiece.
    • --path PATH: Jalur ke file .model.
    • --str_metadata KEY VALUE: (Opsional) Metadata string.
  • hf_tokenizer: Menambahkan tokenizer Hugging Face.
    • --path PATH: Jalur ke file tokenizer.json.
    • --str_metadata KEY VALUE: (Opsional) Metadata string.

Memeriksa dan mengekstrak file .litertlm: litert-lm-peek

Gunakan CLI litert-lm-peek untuk memeriksa container .litertlm atau mengekstrak komponen yang disematkan. Menjalankannya akan menampilkan struktur container lengkap, semua bagian yang dikemas, dan metadata sistem yang dibuat secara otomatis (seperti uuid dan creation_timestamp).

Penggunaan

litert-lm-peek --litertlm_file model.litertlm [options]

Referensi Opsi CLI

  • --litertlm_file PATH (Wajib): Jalur ke file .litertlm yang akan diperiksa.
  • --dump_files_dir PATH (Opsional): Direktori tempat semua file yang dikemas (model, tokenizer, bobot, metadata) harus diekstrak/diekstraksi. Jika tidak diberikan, alat ini hanya akan mencetak metadata dan struktur bagian ke konsol tanpa mengekstrak file.