LiteRT バイナリサイズを縮小する

概要

オンデバイス ML（ODML）アプリケーション用のモデルをデプロイする場合、 モバイル デバイスのメモリには限界があることに注意してください。 モデルのバイナリサイズは、モデルで使用される op の数と モデルです。LiteRT では、次のコマンドを使用して、モデルのバイナリサイズを縮小できます。 選択的にビルドします。選択的ビルドでは、モデルセット内の未使用のオペレーションがスキップされ、 必要なランタイムとオペレーション カーネルだけを含むコンパクトなライブラリを モデルを定義します。

選択的ビルドは、次の 3 つのオペレーション ライブラリに適用されます。

  1. LiteRT の組み込みオペレーション ライブラリ
  2. LiteRT カスタム オペレーション
  3. TensorFlow オペレーション ライブラリを選択する

以下の表は、一般的な用途での選択的ビルドの影響を示しています。 ケース:

モデル名 ドメイン ターゲット アーキテクチャ AAR のファイルサイズ
Mobilenet_1.0_224(float) 画像分類 armeabi-v7a tensorflow-lite.aar（296,635 バイト）
arm64-v8a tensorflow-lite.aar（382,892 バイト）
スパイス 音声ピッチ抽出 armeabi-v7a tensorflow-lite.aar（375,813 バイト）
tensorflow-lite-select-tf-ops.aar（1,676,380 バイト）
arm64-v8a tensorflow-lite.aar（421,826 バイト）
tensorflow-lite-select-tf-ops.aar（2,298,630 バイト）
i3d-kinetics-400 動画分類 armeabi-v7a tensorflow-lite.aar（240,085 バイト）
tensorflow-lite-select-tf-ops.aar（1,708,597 バイト）
arm64-v8a tensorflow-lite.aar（273,713 バイト）
tensorflow-lite-select-tf-ops.aar（2,339,697 バイト）

Bazel で LiteRT を選択的にビルドする

このセクションでは、TensorFlow のソースコードをダウンロードし、 ローカル開発を 環境を Bazel。

Android プロジェクト用の AAR ファイルを作成する

モデルのファイルパスを指定して、カスタムの LiteRT AAR を作成できます。 使用します。

sh tensorflow/lite/tools/build_aar.sh \
  --input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
  --target_archs=x86,x86_64,arm64-v8a,armeabi-v7a

上記のコマンドにより、AAR ファイル「bazel-bin/tmp/tensorflow-lite.aar」が生成されます LiteRT の組み込みオペレーションとカスタム オペレーションの場合必要に応じて AAR を生成し、 モデルに次のものが含まれている場合は bazel-bin/tmp/tensorflow-lite-select-tf-ops.aar [TensorFlow Ops] を選択します。なお、これによりAAR で アーキテクチャすべてが必要ではない場合は、アプリケーションに適したサブセットを デプロイできます。

カスタム オペレーションでビルドする

カスタム オペレーションで LiteRT モデルを構築した場合は、そのモデルを構築可能 build コマンドに次のフラグを追加します。

sh tensorflow/lite/tools/build_aar.sh \
  --input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
  --target_archs=x86,x86_64,arm64-v8a,armeabi-v7a \
  --tflite_custom_ops_srcs=/e/f/file1.cc,/g/h/file2.h \
  --tflite_custom_ops_deps=dep1,dep2

tflite_custom_ops_srcs フラグには、カスタム オペレーションのソースファイルが含まれています。 tflite_custom_ops_deps フラグにソースをビルドする依存関係が含まれている できます。これらの依存関係は TensorFlow リポジトリに存在する必要があります。

高度な使用方法: Bazel のカスタムルール

プロジェクトで Bazel を使用しており、カスタム TFLite を定義する場合 使用する場合は、カスタム モジュールで次のルールを定義できます。 プロジェクト リポジトリ:

オペレーションが組み込まれたモデルのみ:

load(
    "@org_tensorflow//tensorflow/lite:build_def.bzl",
    "tflite_custom_android_library",
    "tflite_custom_c_library",
    "tflite_custom_cc_library",
)

# A selectively built TFLite Android library.
tflite_custom_android_library(
    name = "selectively_built_android_lib",
    models = [
        ":model_one.tflite",
        ":model_two.tflite",
    ],
)

# A selectively built TFLite C library.
tflite_custom_c_library(
    name = "selectively_built_c_lib",
    models = [
        ":model_one.tflite",
        ":model_two.tflite",
    ],
)

# A selectively built TFLite C++ library.
tflite_custom_cc_library(
    name = "selectively_built_cc_lib",
    models = [
        ":model_one.tflite",
        ":model_two.tflite",
    ],
)

[Select TF op] があるモデルの場合:

load(
    "@org_tensorflow//tensorflow/lite/delegates/flex:build_def.bzl",
    "tflite_flex_android_library",
    "tflite_flex_cc_library",
)

# A Select TF ops enabled selectively built TFLite Android library.
tflite_flex_android_library(
    name = "selective_built_tflite_flex_android_lib",
    models = [
        ":model_one.tflite",
        ":model_two.tflite",
    ],
)

# A Select TF ops enabled selectively built TFLite C++ library.
tflite_flex_cc_library(
    name = "selective_built_tflite_flex_cc_lib",
    models = [
        ":model_one.tflite",
        ":model_two.tflite",
    ],
)

高度な使用方法: カスタム C/C++ 共有ライブラリをビルドする

独自のカスタム TFLite C/C++ 共有オブジェクトを 次の操作を行います。

ルートで次のコマンドを実行して、一時的な BUILD ファイルを作成します。 ディレクトリにあります。

mkdir -p tmp && touch tmp/BUILD

カスタム C 共有オブジェクトの作成

カスタム TFLite C 共有オブジェクトをビルドする場合は、次のコードを tmp/BUILD ファイル:

load(
    "//tensorflow/lite:build_def.bzl",
    "tflite_custom_c_library",
    "tflite_cc_shared_object",
)

tflite_custom_c_library(
    name = "selectively_built_c_lib",
    models = [
        ":model_one.tflite",
        ":model_two.tflite",
    ],
)

# Generates a platform-specific shared library containing the LiteRT C
# API implementation as define in `c_api.h`. The exact output library name
# is platform dependent:
#   - Linux/Android: `libtensorflowlite_c.so`
#   - Mac: `libtensorflowlite_c.dylib`
#   - Windows: `tensorflowlite_c.dll`
tflite_cc_shared_object(
    name = "tensorflowlite_c",
    linkopts = select({
        "//tensorflow:ios": [
            "-Wl,-exported_symbols_list,$(location //tensorflow/lite/c:exported_symbols.lds)",
        ],
        "//tensorflow:macos": [
            "-Wl,-exported_symbols_list,$(location //tensorflow/lite/c:exported_symbols.lds)",
        ],
        "//tensorflow:windows": [],
        "//conditions:default": [
            "-z defs",
            "-Wl,--version-script,$(location //tensorflow/lite/c:version_script.lds)",
        ],
    }),
    per_os_targets = True,
    deps = [
        ":selectively_built_c_lib",
        "//tensorflow/lite/c:exported_symbols.lds",
        "//tensorflow/lite/c:version_script.lds",
    ],
)

新しく追加されたターゲットは次のようにビルドできます。

bazel build -c opt --cxxopt=--std=c++17 \
  //tmp:tensorflowlite_c

Android の場合（64 ビットの場合は android_arm を android_arm64 に置き換えます）:

bazel build -c opt --cxxopt=--std=c++17 --config=android_arm \
  //tmp:tensorflowlite_c

カスタム C++ 共有オブジェクトをビルドする

カスタム TFLite C++ 共有オブジェクトをビルドする場合は、以下を追加します。 tmp/BUILD ファイルに追加します。

load(
    "//tensorflow/lite:build_def.bzl",
    "tflite_custom_cc_library",
    "tflite_cc_shared_object",
)

tflite_custom_cc_library(
    name = "selectively_built_cc_lib",
    models = [
        ":model_one.tflite",
        ":model_two.tflite",
    ],
)

# Shared lib target for convenience, pulls in the core runtime and builtin ops.
# Note: This target is not yet finalized, and the exact set of exported (C/C++)
# APIs is subject to change. The output library name is platform dependent:
#   - Linux/Android: `libtensorflowlite.so`
#   - Mac: `libtensorflowlite.dylib`
#   - Windows: `tensorflowlite.dll`
tflite_cc_shared_object(
    name = "tensorflowlite",
    # Until we have more granular symbol export for the C++ API on Windows,
    # export all symbols.
    features = ["windows_export_all_symbols"],
    linkopts = select({
        "//tensorflow:macos": [
            "-Wl,-exported_symbols_list,$(location //tensorflow/lite:tflite_exported_symbols.lds)",
        ],
        "//tensorflow:windows": [],
        "//conditions:default": [
            "-Wl,-z,defs",
            "-Wl,--version-script,$(location //tensorflow/lite:tflite_version_script.lds)",
        ],
    }),
    per_os_targets = True,
    deps = [
        ":selectively_built_cc_lib",
        "//tensorflow/lite:tflite_exported_symbols.lds",
        "//tensorflow/lite:tflite_version_script.lds",
    ],
)

新しく追加されたターゲットは次のようにビルドできます。

bazel build -c opt  --cxxopt=--std=c++17 \
  //tmp:tensorflowlite

Android の場合（64 ビットの場合は android_arm を android_arm64 に置き換えます）:

bazel build -c opt --cxxopt=--std=c++17 --config=android_arm \
  //tmp:tensorflowlite

Select TF オペレーションのモデルでは、次のものも構築する必要があります。 次のような機能があります。

load(
    "@org_tensorflow//tensorflow/lite/delegates/flex:build_def.bzl",
    "tflite_flex_shared_library"
)

# Shared lib target for convenience, pulls in the standard set of TensorFlow
# ops and kernels. The output library name is platform dependent:
#   - Linux/Android: `libtensorflowlite_flex.so`
#   - Mac: `libtensorflowlite_flex.dylib`
#   - Windows: `libtensorflowlite_flex.dll`
tflite_flex_shared_library(
  name = "tensorflowlite_flex",
  models = [
      ":model_one.tflite",
      ":model_two.tflite",
  ],
)

新しく追加されたターゲットは次のようにビルドできます。

bazel build -c opt --cxxopt='--std=c++17' \
      --config=monolithic \
      --host_crosstool_top=@bazel_tools//tools/cpp:toolchain \
      //tmp:tensorflowlite_flex

Android の場合（64 ビットの場合は android_arm を android_arm64 に置き換えます）:

bazel build -c opt --cxxopt='--std=c++17' \
      --config=android_arm \
      --config=monolithic \
      --host_crosstool_top=@bazel_tools//tools/cpp:toolchain \
      //tmp:tensorflowlite_flex

Docker で LiteRT を選択的にビルドする

このセクションでは、 ローカルマシン上の Docker LiteRT Dockerfile をダウンロードしました。 こちらをご覧ください。

上記の Dockerfile をダウンロードしたら、次のコマンドを実行して Docker イメージをビルドできます。 実行中:

docker build . -t tflite-builder -f tflite-android.Dockerfile

Android プロジェクト用の AAR ファイルを作成する

次のコマンドを実行して、Docker でビルドするためのスクリプトをダウンロードします。

curl -o build_aar_with_docker.sh \
  https://raw.githubusercontent.com/tensorflow/tensorflow/master/tensorflow/lite/tools/build_aar_with_docker.sh &&
chmod +x build_aar_with_docker.sh

次に、モデルファイルを指定してカスタムの LiteRT AAR を構築できます。 構成します。

sh build_aar_with_docker.sh \
  --input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
  --target_archs=x86,x86_64,arm64-v8a,armeabi-v7a \
  --checkpoint=master \
  [--cache_dir=<path to cache directory>]

checkpoint フラグは、commit、ブランチ、またはタグです。 チェックアウトする必要のあるライブラリをデフォルトで最新の 作成されます。上記のコマンドで AAR ファイルが生成されます tensorflow-lite.aar: LiteRT の組み込み演算とカスタム オペレーション用（省略可） Select TensorFlow オペレーションの AAR ファイル tensorflow-lite-select-tf-ops.aar ディレクトリに移動します。

--cache_dir はキャッシュ ディレクトリを指定します。指定しなかった場合、スクリプトは 現在の作業ディレクトリの下に bazel-build-cache という名前のディレクトリを作成します。 おすすめします。

AAR ファイルをプロジェクトに追加する

正誤問題: AAR を直接インポートして、 プロジェクト、または公開 ローカルの Maven にカスタム AAR を リポジトリをご覧ください。備考 tensorflow-lite-select-tf-ops.aarの AAR ファイルを モデルを作成できます。

iOS 用の部分的ビルド

設定方法については、ローカルでのビルドをご覧ください。 ビルド環境をセットアップして TensorFlow ワークスペースを構成し、 ガイドを使用して、 iOS 用のビルド スクリプト。