總覽
為裝置端機器學習 (ODML) 應用程式部署模型時 請特別注意,行動裝置的記憶體有限。 模型二進位檔大小與 模型LiteRT 可讓您使用 選擇性建構。選擇性建構會略過模型集中未使用的作業,並 產生只包含執行階段和作業核心所需的運算核心精簡程式庫 適合在行動裝置上運作的模型
選擇性建構適用於下列三個運算程式庫。
下表顯示了選擇性版本對部分常見使用的影響 案件:
模型名稱 | 網域 | 目標架構 | AAR 檔案大小 |
---|---|---|---|
Mobilenet_1.0_224(float) | 圖片分類 | armeabi-v7a | tensorflow-lite.aar (296,635 個位元組) |
arm64-v8a | tensorflow-lite.aar (382,892 個位元組) | ||
指南 | 音高擷取 | armeabi-v7a | tensorflow-lite.aar (375,813 個位元組) tensorflow-lite-select-tf-ops.aar (1,676,380 個位元組) |
arm64-v8a | tensorflow-lite.aar (421,826 個位元組) tensorflow-lite-select-tf-ops.aar (2,298,630 個位元組) |
||
i3d-kinetics-400 | 影片分類 | armeabi-v7a | tensorflow-lite.aar (240,085 個位元組) tensorflow-lite-select-tf-ops.aar (1,708,597 個位元組) |
arm64-v8a | tensorflow-lite.aar (273,713 個位元組) tensorflow-lite-select-tf-ops.aar (2,339,697 個位元組) |
使用 Bazel 選擇性建構 LiteRT
本節假設您已下載 TensorFlow 原始碼,並設定 進一步推動當地發展 「管理環境」 Bazel。
建立 Android 專案的 AAR 檔案
提供模型檔案路徑即可建立自訂 LiteRT AAR 如下所示。
sh tensorflow/lite/tools/build_aar.sh \
--input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
--target_archs=x86,x86_64,arm64-v8a,armeabi-v7a
上述指令會產生 AAR 檔案 bazel-bin/tmp/tensorflow-lite.aar
適用於 LiteRT 內建和自訂作業並視需要產生
bazel-bin/tmp/tensorflow-lite-select-tf-ops.aar
如果模型包含
選取 TensorFlow 運算。請注意,這會形成一個「胖」包含多種不同的「自動套用最佳化建議」功能
架構;如果您不需要全部設定,可以根據
部署環境
使用自訂作業建構
如果您已透過自訂運算開發 LiteRT 模型,則可以進行建構 將下列標記新增至建構指令:
sh tensorflow/lite/tools/build_aar.sh \
--input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
--target_archs=x86,x86_64,arm64-v8a,armeabi-v7a \
--tflite_custom_ops_srcs=/e/f/file1.cc,/g/h/file2.h \
--tflite_custom_ops_deps=dep1,dep2
tflite_custom_ops_srcs
旗標包含自訂作業的來源檔案,以及
tflite_custom_ops_deps
旗標包含建構這些來源的依附元件
檔案。請注意,這些依附元件必須存在於 TensorFlow 存放區。
進階用途:自訂 Bazel 規則
如果專案使用 Bazel,而且您想要定義自訂 TFLite 您可以在物件集合中定義下列規則 專案存放區:
僅適用於含有內建作業的模型:
load(
"@org_tensorflow//tensorflow/lite:build_def.bzl",
"tflite_custom_android_library",
"tflite_custom_c_library",
"tflite_custom_cc_library",
)
# A selectively built TFLite Android library.
tflite_custom_android_library(
name = "selectively_built_android_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# A selectively built TFLite C library.
tflite_custom_c_library(
name = "selectively_built_c_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# A selectively built TFLite C++ library.
tflite_custom_cc_library(
name = "selectively_built_cc_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
針對包含 Select TF Ops 的模型:
load(
"@org_tensorflow//tensorflow/lite/delegates/flex:build_def.bzl",
"tflite_flex_android_library",
"tflite_flex_cc_library",
)
# A Select TF ops enabled selectively built TFLite Android library.
tflite_flex_android_library(
name = "selective_built_tflite_flex_android_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# A Select TF ops enabled selectively built TFLite C++ library.
tflite_flex_cc_library(
name = "selective_built_tflite_flex_cc_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
進階用途:建構自訂 C/C++ 共用程式庫
如果您想自行建立 TFLite C/C++ 共用物件 請按照下列步驟進行:
在根目錄執行下列指令,建立暫時性的 BUILD 檔案 找到了:
mkdir -p tmp && touch tmp/BUILD
建構自訂 C 共用物件
如果您想建立自訂的 TFLite C 共用物件,請將下列指令新增至
tmp/BUILD
檔案:
load(
"//tensorflow/lite:build_def.bzl",
"tflite_custom_c_library",
"tflite_cc_shared_object",
)
tflite_custom_c_library(
name = "selectively_built_c_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# Generates a platform-specific shared library containing the LiteRT C
# API implementation as define in `c_api.h`. The exact output library name
# is platform dependent:
# - Linux/Android: `libtensorflowlite_c.so`
# - Mac: `libtensorflowlite_c.dylib`
# - Windows: `tensorflowlite_c.dll`
tflite_cc_shared_object(
name = "tensorflowlite_c",
linkopts = select({
"//tensorflow:ios": [
"-Wl,-exported_symbols_list,$(location //tensorflow/lite/c:exported_symbols.lds)",
],
"//tensorflow:macos": [
"-Wl,-exported_symbols_list,$(location //tensorflow/lite/c:exported_symbols.lds)",
],
"//tensorflow:windows": [],
"//conditions:default": [
"-z defs",
"-Wl,--version-script,$(location //tensorflow/lite/c:version_script.lds)",
],
}),
per_os_targets = True,
deps = [
":selectively_built_c_lib",
"//tensorflow/lite/c:exported_symbols.lds",
"//tensorflow/lite/c:version_script.lds",
],
)
新增目標的建構方式如下:
bazel build -c opt --cxxopt=--std=c++17 \
//tmp:tensorflowlite_c
和 Android 版本 (將 android_arm
替換為 android_arm64
,代表 64 位元):
bazel build -c opt --cxxopt=--std=c++17 --config=android_arm \
//tmp:tensorflowlite_c
建構自訂 C++ 共用物件
如果您想建立自訂的 TFLite C++ 共用物件,請新增以下內容
匯出至 tmp/BUILD
檔案:
load(
"//tensorflow/lite:build_def.bzl",
"tflite_custom_cc_library",
"tflite_cc_shared_object",
)
tflite_custom_cc_library(
name = "selectively_built_cc_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# Shared lib target for convenience, pulls in the core runtime and builtin ops.
# Note: This target is not yet finalized, and the exact set of exported (C/C++)
# APIs is subject to change. The output library name is platform dependent:
# - Linux/Android: `libtensorflowlite.so`
# - Mac: `libtensorflowlite.dylib`
# - Windows: `tensorflowlite.dll`
tflite_cc_shared_object(
name = "tensorflowlite",
# Until we have more granular symbol export for the C++ API on Windows,
# export all symbols.
features = ["windows_export_all_symbols"],
linkopts = select({
"//tensorflow:macos": [
"-Wl,-exported_symbols_list,$(location //tensorflow/lite:tflite_exported_symbols.lds)",
],
"//tensorflow:windows": [],
"//conditions:default": [
"-Wl,-z,defs",
"-Wl,--version-script,$(location //tensorflow/lite:tflite_version_script.lds)",
],
}),
per_os_targets = True,
deps = [
":selectively_built_cc_lib",
"//tensorflow/lite:tflite_exported_symbols.lds",
"//tensorflow/lite:tflite_version_script.lds",
],
)
新增目標的建構方式如下:
bazel build -c opt --cxxopt=--std=c++17 \
//tmp:tensorflowlite
和 Android 版本 (將 android_arm
替換為 android_arm64
,代表 64 位元):
bazel build -c opt --cxxopt=--std=c++17 --config=android_arm \
//tmp:tensorflowlite
針對具有「Select TF 運算」的模型,您還需要建構下列項目 共用程式庫:
load(
"@org_tensorflow//tensorflow/lite/delegates/flex:build_def.bzl",
"tflite_flex_shared_library"
)
# Shared lib target for convenience, pulls in the standard set of TensorFlow
# ops and kernels. The output library name is platform dependent:
# - Linux/Android: `libtensorflowlite_flex.so`
# - Mac: `libtensorflowlite_flex.dylib`
# - Windows: `libtensorflowlite_flex.dll`
tflite_flex_shared_library(
name = "tensorflowlite_flex",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
新增目標的建構方式如下:
bazel build -c opt --cxxopt='--std=c++17' \
--config=monolithic \
--host_crosstool_top=@bazel_tools//tools/cpp:toolchain \
//tmp:tensorflowlite_flex
和 Android 版本 (將 android_arm
替換為 android_arm64
,代表 64 位元):
bazel build -c opt --cxxopt='--std=c++17' \
--config=android_arm \
--config=monolithic \
--host_crosstool_top=@bazel_tools//tools/cpp:toolchain \
//tmp:tensorflowlite_flex
使用 Docker 選擇性建構 LiteRT
本節假設您已安裝 本機電腦上的 Docker 已下載 LiteRT Dockerfile 請參閱這篇文章。
下載上述 Dockerfile 後,您可以透過下列方式建構 Docker 映像檔: 跑步:
docker build . -t tflite-builder -f tflite-android.Dockerfile
建立 Android 專案的 AAR 檔案
執行下列指令,下載透過 Docker 進行建構的指令碼:
curl -o build_aar_with_docker.sh \
https://raw.githubusercontent.com/tensorflow/tensorflow/master/tensorflow/lite/tools/build_aar_with_docker.sh &&
chmod +x build_aar_with_docker.sh
接著,您就能提供模型檔案來建立自訂 LiteRT AAR 路徑如下
sh build_aar_with_docker.sh \
--input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
--target_archs=x86,x86_64,arm64-v8a,armeabi-v7a \
--checkpoint=master \
[--cache_dir=<path to cache directory>]
checkpoint
旗標是 TensorFlow 存放區的修訂版本、分支版本或標記。
希望在建構程式庫前先結帳;系統預設會使用最新的
發行分支。上述指令會產生 AAR 檔案
tensorflow-lite.aar
:適用於 LiteRT 的內建和自訂作業,以及 (選用)
適用於「Select TensorFlow Ops」作業的 AAR 檔案 tensorflow-lite-select-tf-ops.aar
目前的目錄
--cache_dir 會指定快取目錄。如未提供,指令碼就會
在目前的工作目錄中建立名為 bazel-build-cache
的目錄
快取功能。
在專案中加入 AAR 檔案
直接將 AAR 匯入
專案或由發布
翻譯成當地 Maven 的自訂自動套用建議
存放區注意事項
請務必先新增 tensorflow-lite-select-tf-ops.aar
的 AAR 檔案
以滿足需求
iOS 適用的選擇性版本
如要設定,請參閱在本機上建構一節 建立建構環境及設定 TensorFlow 工作區,然後按照 如何使用選擇性操作指南 建構指令碼。