LiteRT-LM File Builder

litert-lm-builder Paket, LiteRT-LM (.litertlm) kapsayıcı dosyalarını oluşturmak, incelemek ve paketten çıkarmak için Python araçları ve komut satırı arayüzleri (KSA'lar) sağlar.

.litertlm dosyası, TFLite modellerinizi, belirteç oluşturucu dosyalarınızı, harici ağırlıklarınızı ve ilişkili model meta verilerinizi paketleyen tek bir birleştirilmiş kapsayıcıdır. Bu sayede, dosyalar LiteRT-LM çalışma zamanı tarafından dağıtılabilir ve yüklenebilir.

Kurulum

PyPI'den litert-lm-builder paketini yükleyin.

1. yöntem: uvx (Hızlı yürütme için önerilir)

KSA'ları kalıcı olarak yüklemeden hemen çalıştırın. uv gerektirir.

uvx litert-lm-builder --help
uvx litert-lm-peek --help

2. yöntem: pip

Sanal ortamda standart yükleme:

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm-builder

.litertlm dosyası oluşturma: litert-lm-builder

Model bileşenlerinizi paketlemek için litert-lm-builder CLI'yı kullanın. Bu işlemi yapılandırma dosyası kullanarak veya komut satırı bağımsız değişkenlerini zincirleyerek yapabilirsiniz.

Kullanım

Derleyiciyi kullanarak .litertlm dosyasını hazırlamak için aşağıdaki yöntemler kullanılabilir.

1. yöntem: TOML yapılandırmasını kullanarak oluşturma (önerilir)

Tüm bileşenleri, yolları ve meta verileri bir TOML yapılandırma dosyasında belirtin, ardından oluşturucuyu çalıştırın:

litert-lm-builder toml --path config.toml output --path model.litertlm

Örnek config.toml:

[system_metadata]
entries = [
  { key = "author", value_type = "String", value = "Authors" }
]

[[section]]
section_type = "LlmMetadata"
data_path = "path/to/llm_metadata.pb"

[[section]]
section_type = "SP_Tokenizer"
data_path = "path/to/sp.model"

[[section]]
section_type = "TFLiteModel"
model_type = "PREFILL_DECODE"
data_path = "path/to/model.tflite"
additional_metadata = [
  { key = "model_version", value_type = "String", value = "1.0.1" }
]

2. yöntem: Komut satırı bağımsız değişkenlerini kullanarak oluşturma

Terminalinizde alt komutları zincirleyerek kapsayıcıyı dinamik olarak oluşturabilirsiniz. Alt komutların sırası, oluşturulan dosyadaki bölümlerin sırasını belirler.

litert-lm-builder \
  system_metadata --str author "Authors" \
  llm_metadata --path path/to/llm_metadata.pb \
  sp_tokenizer --path path/to/sp.model \
  tflite_model --path path/to/model.tflite --model_type prefill_decode --str_metadata model_version "1.0.1" \
  output --path model.litertlm

CLI Seçenekleri Referansı

litert-lm-builder CLI, aşağıdaki alt komutları destekler:

• output (Zorunlu): Çıkış yolunu belirtir.
  • --path PATH: Oluşturulan .litertlm dosyasının kaydedileceği yol.
• toml: Yapılandırmayı bir TOML dosyasından yükleyin.
  • --path PATH: .toml dosyasının yolu.
• system_metadata: Genel sistem meta verilerini ekleyin.
  • --str KEY VALUE: Dize anahtar/değer çifti ekleyin (birden fazla kez belirtilebilir).
  • --int KEY VALUE: Bir tam sayı anahtar/değer çifti ekleyin (birden fazla kez belirtilebilir).
  • Not: Oluşturucu, sistem meta verilerine otomatik olarak benzersiz bir uuid ve creation_timestamp (UTC ISO 8601 biçiminde) oluşturup ekler. Bu anahtarları manuel olarak belirtmeyin. Bu alanlar, model derlemesini benzersiz şekilde tanımlamak ve derlenmiş önbellek geçersiz kılmayı yönetmek için çalışma zamanı tarafından kullanılır.
• llm_metadata: LLM'ye özel yapılandırma ekleyin.
  • --path PATH: LLM meta verilerinin yolu (metin veya ikili proto).
• tflite_model: TFLite modeli ekleyin.
  • --path PATH: .tflite dosyasının yolu.
  • --model_type TYPE: Şunlardan biri: embedder, prefill_decode (hem önceden doldurma hem de kod çözme), prefill, decode.
  • --backend_constraint BACKEND: (İsteğe bağlı) Arka uç kısıtlaması (ör. gpu, cpu, npu).
  • --prefer_activation_type TYPE: (İsteğe bağlı) Tercih edilen etkinleştirme türü (fp16, fp32, fp32_fp16).
  • --str_metadata KEY VALUE: (İsteğe bağlı) Bu model bölümü için dize meta verileri.
• sp_tokenizer: SentencePiece belirteç oluşturucu ekleyin.
  • --path PATH: .model dosyasının yolu.
  • --str_metadata KEY VALUE: (İsteğe bağlı) Dize meta verileri.
• hf_tokenizer: Hugging Face tokenizer ekleyin.
  • --path PATH: tokenizer.json dosyasının yolu.
  • --str_metadata KEY VALUE: (İsteğe bağlı) Dize meta verileri.

.litertlm dosyasını inceleme ve açma: litert-lm-peek

litert-lm-peek KSA'yı kullanarak bir .litertlm kapsayıcısını inceleyin veya yerleştirilmiş bileşenlerini açın. Bu komut çalıştırıldığında, tam kapsayıcı yapısı, tüm paketlenmiş bölümler ve otomatik olarak oluşturulan sistem meta verileri (ör. uuid ve creation_timestamp) gösterilir.

Kullanım

litert-lm-peek --litertlm_file model.litertlm [options]

CLI Seçenekleri Referansı

• --litertlm_file PATH (Gerekli): İncelenecek .litertlm dosyasının yolu.
• --dump_files_dir PATH (İsteğe bağlı): Tüm paketlenmiş dosyaların (modeller, belirteçler, ağırlıklar, meta veriler) çıkarılması/açılması gereken dizin. Girilmemesi halinde araç, dosyaları çıkarmadan yalnızca meta verileri ve bölüm yapısını konsola yazdırır.