Ndërtuesi i Skedarëve LiteRT-LM

Paketa litert-lm-builder ofron mjete Python dhe Ndërfaqe të Linjës së Komandës (CLI) për të ndërtuar, inspektuar dhe çpaketuar skedarët kontejnerë LiteRT-LM ( .litertlm ) .

Një skedar .litertlm është një kontejner i vetëm i unifikuar që paketon modelet tuaja TFLite, skedarët tokenizer, peshat e jashtme dhe meta të dhënat e modelit të shoqëruara në mënyrë që ato të mund të shpërndahen dhe ngarkohen nga koha e ekzekutimit LiteRT-LM.

Instalimi

Instaloni paketën litert-lm-builder nga PyPI.

Metoda 1: uvx (Rekomandohet për ekzekutim të shpejtë)

Ekzekutoni menjëherë CLI-të pa një instalim të përhershëm. Kërkon uv .

uvx litert-lm-builder --help
uvx litert-lm-peek --help

Metoda 2: pip

Instalimi standard brenda një mjedisi virtual:

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm-builder

Ndërtoni një skedar .litertlm : litert-lm-builder

Përdorni CLI-në litert-lm-builder për të paketuar komponentët e modelit tuaj. Mund ta bëni këtë duke përdorur një skedar konfigurimi ose duke lidhur zinxhir argumentet e rreshtit të komandës.

Përdorimi

Metodat e mëposhtme mund të përdoren për të përgatitur skedarin .litertlm duke përdorur ndërtuesin.

Metoda 1: Ndërtoni duke përdorur Konfigurimin TOML (Rekomandohet)

Specifikoni të gjithë komponentët, shtigjet dhe metadatat në një skedar konfigurimi TOML, pastaj ekzekutoni ndërtuesin:

litert-lm-builder toml --path config.toml output --path model.litertlm

Shembull config.toml :

[system_metadata]
entries = [
  { key = "author", value_type = "String", value = "Authors" }
]

[[section]]
section_type = "LlmMetadata"
data_path = "path/to/llm_metadata.pb"

[[section]]
section_type = "SP_Tokenizer"
data_path = "path/to/sp.model"

[[section]]
section_type = "TFLiteModel"
model_type = "PREFILL_DECODE"
data_path = "path/to/model.tflite"
additional_metadata = [
  { key = "model_version", value_type = "String", value = "1.0.1" }
]

Metoda 2: Ndërtoni duke përdorur Argumentet e Rreshtit të Komandës

Ju mund ta ndërtoni kontejnerin në mënyrë dinamike duke i lidhur nënkomandat në terminalin tuaj. Renditja e nënkomandave përcakton renditjen e seksioneve në skedarin e gjeneruar.

litert-lm-builder \
  system_metadata --str author "Authors" \
  llm_metadata --path path/to/llm_metadata.pb \
  sp_tokenizer --path path/to/sp.model \
  tflite_model --path path/to/model.tflite --model_type prefill_decode --str_metadata model_version "1.0.1" \
  output --path model.litertlm

Referenca e opsioneve CLI

CLI litert-lm-builder mbështet nënkomandat e mëposhtme:

  • output (E detyrueshme): Specifikon shtegun e daljes.
    • --path PATH : Shtegu për të ruajtur skedarin e ndërtuar .litertlm .
  • toml : Ngarko konfigurimin nga një skedar TOML.
    • --path PATH : Shtegu për në skedarin .toml .
  • system_metadata : Shto meta të dhëna globale të sistemit.
    • --str KEY VALUE : Shto një çift çelës-vlerë vargu (mund të specifikohet disa herë).
    • --int KEY VALUE : Shto një çift çelës-vlerë numër të plotë (mund të specifikohet disa herë).
    • Shënim : Ndërtuesi gjeneron dhe shton automatikisht një uuid dhe creation_timestamp unike (në formatin UTC ISO 8601) në metadatat e sistemit. Mos i specifikoni këto çelësa manualisht. Këto fusha përdoren nga koha e ekzekutimit për të identifikuar ndërtimin e modelit në mënyrë unike dhe për të menaxhuar pavlefshmërinë e memories së përpiluar.
  • llm_metadata : Shto konfigurim specifik për LLM.
    • --path PATH : Shtegu për te meta të dhënat LLM (tekst ose proto binar).
  • tflite_model : Shtoni një model TFLite.
    • --path PATH : Shtegu për në skedarin .tflite .
    • --model_type TYPE : Një nga: embedder , prefill_decode (që përfaqëson si prefill ashtu edhe decode), prefill , decode .
    • --backend_constraint BACKEND : (Opsionale) Kufizim i Backend-it (p.sh., gpu , cpu , npu ).
    • --prefer_activation_type TYPE : (Opsional) Lloji i preferuar i aktivizimit ( fp16 , fp32 , fp32_fp16 ).
    • --str_metadata KEY VALUE : (Opsionale) Metadata vargu për këtë seksion modeli.
  • sp_tokenizer : Shto një tokenizues SentencePiece.
    • --path PATH : Shtegu për në skedarin .model .
    • --str_metadata KEY VALUE : (Opsionale) Meta të dhëna vargu.
  • hf_tokenizer : Shto një tokenizues të fytyrës përqafuese.
    • --path PATH : Shtegu për në skedarin tokenizer.json .
    • --str_metadata KEY VALUE : (Opsionale) Meta të dhëna vargu.

Inspektoni dhe çpaketoni një skedar .litertlm : litert-lm-peek

Përdorni CLI-në litert-lm-peek për të inspektuar një kontejner .litertlm ose për të çpaketuar komponentët e tij të integruar. Ekzekutimi i saj shfaq strukturën e plotë të kontejnerit, të gjitha seksionet e paketuara dhe meta të dhënat e gjeneruara automatikisht të sistemit (siç janë uuid dhe creation_timestamp ).

Përdorimi 

litert-lm-peek --litertlm_file model.litertlm [options]

Referenca e opsioneve CLI

  • --litertlm_file PATH (E detyrueshme): Shtegu për në skedarin .litertlm që duhet inspektuar.
  • --dump_files_dir PATH (Opsionale): Drejtoria ku duhet të nxirren/çpaketohen të gjithë skedarët e paketuar (modelet, tokenizuesit, peshat, meta të dhënat). Nëse nuk jepet, mjeti do të shtypë vetëm meta të dhënat dhe strukturën e seksionit në tastierë pa nxjerrë skedarë.