Kreator plików LiteRT-LM

Pakiet litert-lm-builder zawiera narzędzia w języku Python i interfejsy wiersza poleceń do tworzenia, sprawdzania, i rozpakowywania plików kontenerów LiteRT-LM (.litertlm).

Plik .litertlm to pojedynczy ujednolicony kontener, który zawiera modele TFLite, pliki tokenizera, wagi zewnętrzne i powiązane metadane modelu, dzięki czemu mogą być dystrybuowane i ładowane przez środowisko wykonawcze LiteRT-LM.

Instalacja

Zainstaluj pakiet litert-lm-builder z PyPI.

Metoda 1. uvx (zalecana do szybkiego wykonania)

Uruchom interfejsy wiersza poleceń natychmiast bez trwałej instalacji. Wymaga uv.

uvx litert-lm-builder --help
uvx litert-lm-peek --help

Metoda 2. pip

Standardowa instalacja w środowisku wirtualnym:

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm-builder

Tworzenie pliku .litertlm: litert-lm-builder

Użyj interfejsu wiersza poleceń litert-lm-builder, aby spakować komponenty modelu. Możesz to zrobić za pomocą pliku konfiguracji lub przez łączenie argumentów wiersza poleceń.

Wykorzystanie

Do przygotowania pliku .litertlm za pomocą narzędzia do tworzenia możesz użyć tych metod.

Metoda 1. Tworzenie za pomocą konfiguracji TOML (zalecane)

Określ wszystkie komponenty, ścieżki i metadane w pliku konfiguracji TOML, a następnie uruchom narzędzie do tworzenia:

litert-lm-builder toml --path config.toml output --path model.litertlm

Przykład config.toml:

[system_metadata]
entries = [
  { key = "author", value_type = "String", value = "Authors" }
]

[[section]]
section_type = "LlmMetadata"
data_path = "path/to/llm_metadata.pb"

[[section]]
section_type = "SP_Tokenizer"
data_path = "path/to/sp.model"

[[section]]
section_type = "TFLiteModel"
model_type = "PREFILL_DECODE"
data_path = "path/to/model.tflite"
additional_metadata = [
  { key = "model_version", value_type = "String", value = "1.0.1" }
]

Metoda 2. Tworzenie za pomocą argumentów wiersza poleceń

Kontener możesz utworzyć dynamicznie, łącząc podpolecenia w terminalu. Kolejność podpoleceń określa kolejność sekcji w wygenerowanym pliku.

litert-lm-builder \
  system_metadata --str author "Authors" \
  llm_metadata --path path/to/llm_metadata.pb \
  sp_tokenizer --path path/to/sp.model \
  tflite_model --path path/to/model.tflite --model_type prefill_decode --str_metadata model_version "1.0.1" \
  output --path model.litertlm

Informacje o opcjach interfejsu wiersza poleceń

Interfejs wiersza poleceń litert-lm-builder obsługuje te podpolecenia:

  • output (wymagane): określa ścieżkę wyjściową.
    • --path PATH: ścieżka do zapisania utworzonego pliku .litertlm.
  • toml: wczytuje konfigurację z pliku TOML.
    • --path PATH: ścieżka do pliku .toml.
  • system_metadata: dodaje globalne metadane systemu.
    • --str KEY VALUE: dodaje parę klucz-wartość typu string (można określić wiele razy).
    • --int KEY VALUE: dodaje parę klucz-wartość typu integer (można określić wiele razy).
    • Uwaga: narzędzie do tworzenia automatycznie generuje i dołącza do metadanych systemu unikalny uuid oraz creation_timestamp (w formacie UTC ISO 8601). Nie określaj tych kluczy ręcznie. Te pola są używane przez środowisko wykonawcze do jednoznacznego identyfikowania kompilacji modelu i zarządzania unieważnianiem skompilowanej pamięci podręcznej.
  • llm_metadata: dodaje konfigurację specyficzną dla LLM.
    • --path PATH: ścieżka do metadanych LLM (tekstowych lub binarnych proto).
  • tflite_model: dodaje model TFLite.
    • --path PATH: ścieżka do pliku .tflite.
    • --model_type TYPE: jedna z tych wartości: embedder, prefill_decode (reprezentująca zarówno prefill, jak i decode), prefill, decode.
    • --backend_constraint BACKEND: (opcjonalnie) ograniczenie backendu (np. gpu, cpu, npu).
    • --prefer_activation_type TYPE: (opcjonalnie) preferowany typ aktywacji (fp16, fp32, fp32_fp16).
    • --str_metadata KEY VALUE: (opcjonalnie) metadane typu string dla tej sekcji modelu.
  • sp_tokenizer: dodaje tokenizer SentencePiece.
    • --path PATH: ścieżka do pliku .model.
    • --str_metadata KEY VALUE: (opcjonalnie) metadane typu string.
  • hf_tokenizer: dodaje tokenizer Hugging Face.
    • --path PATH: ścieżka do pliku tokenizer.json.
    • --str_metadata KEY VALUE: (opcjonalnie) metadane typu string.

Sprawdzanie i rozpakowywanie pliku .litertlm: litert-lm-peek

Użyj interfejsu wiersza poleceń litert-lm-peek, aby sprawdzić kontener .litertlm lub rozpakować jego komponenty. Po uruchomieniu wyświetla pełną strukturę kontenera, wszystkie spakowane sekcje i automatycznie wygenerowane metadane systemu (takie jak uuid i creation_timestamp).

Wykorzystanie

litert-lm-peek --litertlm_file model.litertlm [options]

Informacje o opcjach interfejsu wiersza poleceń

  • --litertlm_file PATH (wymagane): ścieżka do pliku .litertlm, który chcesz sprawdzić.
  • --dump_files_dir PATH (opcjonalnie): katalog, w którym należy wyodrębnić/rozpakować wszystkie spakowane pliki (modele, tokenizery, wagi, metadane). Jeśli nie podasz tej ścieżki, narzędzie wyświetli w konsoli tylko metadane i strukturę sekcji bez wyodrębniania plików.