LiteRT-LM File Builder

Пакет litert-lm-builder предоставляет инструменты Python и интерфейсы командной строки (CLI) для сборки, проверки и распаковки файлов контейнера LiteRT-LM ( .litertlm ) .

Файл .litertlm представляет собой единый унифицированный контейнер, который упаковывает ваши модели TFLite, файлы токенизатора, внешние веса и связанные с моделями метаданные, чтобы их можно было распространять и загружать средой выполнения LiteRT-LM.

Установка

Установите пакет litert-lm-builder из PyPI.

Метод 1: uvx (рекомендуется для быстрого выполнения)

Запускайте интерфейсы командной строки немедленно, без постоянной установки. Требуется uv .

uvx litert-lm-builder --help
uvx litert-lm-peek --help

Метод 2: pip

Стандартная установка в виртуальной среде:

python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm-builder

Создайте файл .litertlm : litert-lm-builder

Используйте интерфейс командной строки litert-lm-builder для упаковки компонентов вашей модели. Это можно сделать либо с помощью файла конфигурации, либо путем цепочки аргументов командной строки.

Использование

Для подготовки файла .litertlm с помощью конструктора можно использовать следующие методы.

Метод 1: Сборка с использованием конфигурации TOML (рекомендуется)

Укажите все компоненты, пути и метаданные в конфигурационном файле TOML, затем запустите построитель:

litert-lm-builder toml --path config.toml output --path model.litertlm

Пример файла config.toml :

[system_metadata]
entries = [
  { key = "author", value_type = "String", value = "Authors" }
]

[[section]]
section_type = "LlmMetadata"
data_path = "path/to/llm_metadata.pb"

[[section]]
section_type = "SP_Tokenizer"
data_path = "path/to/sp.model"

[[section]]
section_type = "TFLiteModel"
model_type = "PREFILL_DECODE"
data_path = "path/to/model.tflite"
additional_metadata = [
  { key = "model_version", value_type = "String", value = "1.0.1" }
]

Метод 2: Сборка с использованием аргументов командной строки

Вы можете динамически создавать контейнер, объединяя подкоманды в цепочке в терминале. Порядок подкоманд определяет порядок разделов в сгенерированном файле.

litert-lm-builder \
  system_metadata --str author "Authors" \
  llm_metadata --path path/to/llm_metadata.pb \
  sp_tokenizer --path path/to/sp.model \
  tflite_model --path path/to/model.tflite --model_type prefill_decode --str_metadata model_version "1.0.1" \
  output --path model.litertlm

Справочник параметров командной строки

Интерфейс командной строки litert-lm-builder поддерживает следующие подкоманды:

  • output (Обязательно): Указывает путь вывода.
    • --path PATH : Путь для сохранения созданного файла .litertlm .
  • toml : Загрузка конфигурации из TOML-файла.
    • --path PATH : Путь к файлу .toml .
  • system_metadata : Добавить глобальные системные метаданные.
    • --str KEY VALUE : Добавить строковую пару ключ-значение (можно указать несколько раз).
    • --int KEY VALUE : Добавить целочисленную пару ключ-значение (можно указать несколько раз).
    • Примечание : Сборщик автоматически генерирует и добавляет уникальный uuid и creation_timestamp (в формате UTC ISO 8601) к метаданным системы. Не указывайте эти ключи вручную. Эти поля используются средой выполнения для уникальной идентификации сборки модели и управления аннулированием скомпилированного кэша.
  • llm_metadata : Добавить конфигурацию, специфичную для LLM.
    • --path PATH : Путь к метаданным LLM (текстовый или бинарный протокол).
  • tflite_model : Добавить модель TFLite.
    • --path PATH : Путь к файлу .tflite .
    • --model_type TYPE : Один из следующих вариантов: embedder , prefill_decode (представляющий как предварительное заполнение, так и декодирование), prefill , decode .
    • --backend_constraint BACKEND : (Необязательно) Ограничение бэкенда (например, gpu , cpu , npu ).
    • --prefer_activation_type TYPE : (Необязательно) Предпочтительный тип активации ( fp16 , fp32 , fp32_fp16 ).
    • --str_metadata KEY VALUE : (Необязательно) Строковые метаданные для этого раздела модели.
  • sp_tokenizer : Добавляет токенизатор для фрагментов предложений.
    • --path PATH : Путь к файлу .model .
    • --str_metadata KEY VALUE : (Необязательно) Строковые метаданные.
  • hf_tokenizer : Добавить токенизатор "Обнимающее лицо".
    • --path PATH : Путь к файлу tokenizer.json .
    • --str_metadata KEY VALUE : (Необязательно) Строковые метаданные.

Проверить и распаковать файл .litertlm : litert-lm-peek

Используйте интерфейс командной строки litert-lm-peek для проверки контейнера .litertlm или распаковки его встроенных компонентов. Запуск программы отобразит полную структуру контейнера, все упакованные разделы и автоматически сгенерированные системные метаданные (такие как uuid и creation_timestamp ).

Использование 

litert-lm-peek --litertlm_file model.litertlm [options]

Справочник параметров командной строки

  • --litertlm_file PATH (Обязательно): Путь к файлу .litertlm для проверки.
  • --dump_files_dir PATH (Необязательно): Каталог, куда следует извлечь/распаковать все упакованные файлы (модели, токенизаторы, веса, метаданные). Если не указан, инструмент выведет в консоль только метаданные и структуру разделов, не извлекая файлы.