개요
온디바이스 머신러닝 (ODML) 애플리케이션을 위해 모델을 배포할 때는 모바일 장치에서 사용할 수 있는 제한된 메모리를 인식하는 것이 중요합니다. 모델 바이너리 크기는 모델 바이너리의 크기에 사용된 작업 수와 있습니다. LiteRT를 사용하면 Python 및 TensorFlow와 같은 살펴보겠습니다 선택적 빌드는 모델 세트에서 사용되지 않는 작업을 건너뛰고 애플리케이션에 필요한 런타임과 작업 커널만 포함된 소형 라이브러리를 생성 모바일 장치에서 실행할 수 있습니다.
선택적 빌드는 다음 세 가지 작업 라이브러리에 적용됩니다.
아래 표는 일반적인 용도에 대한 선택적 빌드의 영향을 보여줍니다. 사례:
모델 이름 | 도메인 | 대상 아키텍처 | AAR 파일 크기 |
---|---|---|---|
Mobilenet_1.0_224(float) | 이미지 분류 | armeabi-v7a | tensorflow-lite.aar (296,635바이트) |
arm64-v8a | tensorflow-lite.aar (382,892바이트) | ||
사본 | 음높이 추출 | armeabi-v7a | tensorflow-lite.aar (375,813바이트) tensorflow-lite-select-tf-ops.aar (1,676,380바이트) |
arm64-v8a | tensorflow-lite.aar (421,826바이트) tensorflow-lite-select-tf-ops.aar (2,298,630바이트) |
||
i3d-kintics-400 | 동영상 분류 | armeabi-v7a | tensorflow-lite.aar (240,085바이트) tensorflow-lite-select-tf-ops.aar (1,708,597바이트) |
arm64-v8a | tensorflow-lite.aar (273,713바이트) tensorflow-lite-select-tf-ops.aar (2,339,697바이트) |
Bazel을 사용하여 선택적으로 LiteRT 빌드
이 섹션에서는 TensorFlow 소스 코드를 다운로드하고 지역 개발 환경 Bazel을 사용하세요.
Android 프로젝트용 AAR 파일 빌드
모델 파일 경로를 제공하여 맞춤 LiteRT AAR을 빌드할 수 있습니다. 변경할 수 있습니다.
sh tensorflow/lite/tools/build_aar.sh \
--input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
--target_archs=x86,x86_64,arm64-v8a,armeabi-v7a
위 명령어는 AAR 파일 bazel-bin/tmp/tensorflow-lite.aar
을 생성합니다.
LiteRT 기본 제공 및 커스텀 작업용 원하는 경우 aar을 생성합니다.
모델에 포함된 경우 bazel-bin/tmp/tensorflow-lite-select-tf-ops.aar
파일
TensorFlow 작업을 선택합니다. 참고로 이렇게 하면 여러 가지 다양한 AAR
아키텍처, 모두 필요하지 않은 경우
맞춤설정할 수 있습니다
커스텀 작업으로 빌드
커스텀 작업을 사용하여 LiteRT 모델을 개발한 경우 빌드가 가능합니다. 빌드 명령어에 다음 플래그를 추가합니다.
sh tensorflow/lite/tools/build_aar.sh \
--input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
--target_archs=x86,x86_64,arm64-v8a,armeabi-v7a \
--tflite_custom_ops_srcs=/e/f/file1.cc,/g/h/file2.h \
--tflite_custom_ops_deps=dep1,dep2
tflite_custom_ops_srcs
플래그에는 커스텀 작업의 소스 파일과
tflite_custom_ops_deps
플래그에는 이러한 소스를 빌드하기 위한 종속 항목이 포함되어 있습니다.
할 수 있습니다. 이러한 종속 항목은 TensorFlow 저장소에 있어야 합니다.
고급 사용법: 커스텀 Bazel 규칙
프로젝트에서 Bazel을 사용하고 있고 맞춤 TFLite를 정의하려는 경우 종속 항목을 얻기 위해서는 프로젝트 저장소:
기본 제공 작업이 있는 모델만 해당:
load(
"@org_tensorflow//tensorflow/lite:build_def.bzl",
"tflite_custom_android_library",
"tflite_custom_c_library",
"tflite_custom_cc_library",
)
# A selectively built TFLite Android library.
tflite_custom_android_library(
name = "selectively_built_android_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# A selectively built TFLite C library.
tflite_custom_c_library(
name = "selectively_built_c_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# A selectively built TFLite C++ library.
tflite_custom_cc_library(
name = "selectively_built_cc_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
TF 작업 선택이 포함된 모델:
load(
"@org_tensorflow//tensorflow/lite/delegates/flex:build_def.bzl",
"tflite_flex_android_library",
"tflite_flex_cc_library",
)
# A Select TF ops enabled selectively built TFLite Android library.
tflite_flex_android_library(
name = "selective_built_tflite_flex_android_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# A Select TF ops enabled selectively built TFLite C++ library.
tflite_flex_cc_library(
name = "selective_built_tflite_flex_cc_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
고급 사용법: 맞춤 C/C++ 공유 라이브러리 빌드
자체 맞춤 TFLite C/C++ 공유 객체를 빌드하려는 경우 모델을 변경하려면 다음 단계를 따르세요.
루트에서 다음 명령어를 실행하여 임시 BUILD 파일을 만듭니다. 디렉터리에 있습니다.
mkdir -p tmp && touch tmp/BUILD
맞춤 C 공유 객체 빌드
맞춤 TFLite C 공유 객체를 빌드하려면 다음을 추가합니다.
tmp/BUILD
파일:
load(
"//tensorflow/lite:build_def.bzl",
"tflite_custom_c_library",
"tflite_cc_shared_object",
)
tflite_custom_c_library(
name = "selectively_built_c_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# Generates a platform-specific shared library containing the LiteRT C
# API implementation as define in `c_api.h`. The exact output library name
# is platform dependent:
# - Linux/Android: `libtensorflowlite_c.so`
# - Mac: `libtensorflowlite_c.dylib`
# - Windows: `tensorflowlite_c.dll`
tflite_cc_shared_object(
name = "tensorflowlite_c",
linkopts = select({
"//tensorflow:ios": [
"-Wl,-exported_symbols_list,$(location //tensorflow/lite/c:exported_symbols.lds)",
],
"//tensorflow:macos": [
"-Wl,-exported_symbols_list,$(location //tensorflow/lite/c:exported_symbols.lds)",
],
"//tensorflow:windows": [],
"//conditions:default": [
"-z defs",
"-Wl,--version-script,$(location //tensorflow/lite/c:version_script.lds)",
],
}),
per_os_targets = True,
deps = [
":selectively_built_c_lib",
"//tensorflow/lite/c:exported_symbols.lds",
"//tensorflow/lite/c:version_script.lds",
],
)
새로 추가된 대상은 다음과 같이 빌드할 수 있습니다.
bazel build -c opt --cxxopt=--std=c++17 \
//tmp:tensorflowlite_c
Android의 경우 (64비트의 경우 android_arm
를 android_arm64
로 대체):
bazel build -c opt --cxxopt=--std=c++17 --config=android_arm \
//tmp:tensorflowlite_c
맞춤 C++ 공유 객체 빌드
맞춤 TFLite C++ 공유 객체를 빌드하려면 다음을 추가합니다.
tmp/BUILD
파일로 변환하세요.
load(
"//tensorflow/lite:build_def.bzl",
"tflite_custom_cc_library",
"tflite_cc_shared_object",
)
tflite_custom_cc_library(
name = "selectively_built_cc_lib",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
# Shared lib target for convenience, pulls in the core runtime and builtin ops.
# Note: This target is not yet finalized, and the exact set of exported (C/C++)
# APIs is subject to change. The output library name is platform dependent:
# - Linux/Android: `libtensorflowlite.so`
# - Mac: `libtensorflowlite.dylib`
# - Windows: `tensorflowlite.dll`
tflite_cc_shared_object(
name = "tensorflowlite",
# Until we have more granular symbol export for the C++ API on Windows,
# export all symbols.
features = ["windows_export_all_symbols"],
linkopts = select({
"//tensorflow:macos": [
"-Wl,-exported_symbols_list,$(location //tensorflow/lite:tflite_exported_symbols.lds)",
],
"//tensorflow:windows": [],
"//conditions:default": [
"-Wl,-z,defs",
"-Wl,--version-script,$(location //tensorflow/lite:tflite_version_script.lds)",
],
}),
per_os_targets = True,
deps = [
":selectively_built_cc_lib",
"//tensorflow/lite:tflite_exported_symbols.lds",
"//tensorflow/lite:tflite_version_script.lds",
],
)
새로 추가된 대상은 다음과 같이 빌드할 수 있습니다.
bazel build -c opt --cxxopt=--std=c++17 \
//tmp:tensorflowlite
Android의 경우 (64비트의 경우 android_arm
를 android_arm64
로 대체):
bazel build -c opt --cxxopt=--std=c++17 --config=android_arm \
//tmp:tensorflowlite
TF 작업 선택이 포함된 모델의 경우 다음도 빌드해야 합니다. 확인할 수 있습니다.
load(
"@org_tensorflow//tensorflow/lite/delegates/flex:build_def.bzl",
"tflite_flex_shared_library"
)
# Shared lib target for convenience, pulls in the standard set of TensorFlow
# ops and kernels. The output library name is platform dependent:
# - Linux/Android: `libtensorflowlite_flex.so`
# - Mac: `libtensorflowlite_flex.dylib`
# - Windows: `libtensorflowlite_flex.dll`
tflite_flex_shared_library(
name = "tensorflowlite_flex",
models = [
":model_one.tflite",
":model_two.tflite",
],
)
새로 추가된 대상은 다음과 같이 빌드할 수 있습니다.
bazel build -c opt --cxxopt='--std=c++17' \
--config=monolithic \
--host_crosstool_top=@bazel_tools//tools/cpp:toolchain \
//tmp:tensorflowlite_flex
Android의 경우 (64비트의 경우 android_arm
를 android_arm64
로 대체):
bazel build -c opt --cxxopt='--std=c++17' \
--config=android_arm \
--config=monolithic \
--host_crosstool_top=@bazel_tools//tools/cpp:toolchain \
//tmp:tensorflowlite_flex
Docker로 선택적으로 LiteRT 빌드
이 섹션에서는 Google Cloud의 로컬 머신에 Docker를 설치합니다. LiteRT Dockerfile을 다운로드했습니다 여기를 참고하세요.
위의 Dockerfile을 다운로드한 후 다음 방법으로 Docker 이미지를 빌드할 수 있습니다. 실행 중:
docker build . -t tflite-builder -f tflite-android.Dockerfile
Android 프로젝트용 AAR 파일 빌드
다음을 실행하여 Docker로 빌드하기 위한 스크립트를 다운로드합니다.
curl -o build_aar_with_docker.sh \
https://raw.githubusercontent.com/tensorflow/tensorflow/master/tensorflow/lite/tools/build_aar_with_docker.sh &&
chmod +x build_aar_with_docker.sh
그런 다음 모델 파일을 제공하여 맞춤 LiteRT AAR을 빌드할 수 있습니다. 경로를 지정해야 합니다.
sh build_aar_with_docker.sh \
--input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
--target_archs=x86,x86_64,arm64-v8a,armeabi-v7a \
--checkpoint=master \
[--cache_dir=<path to cache directory>]
checkpoint
플래그는 TensorFlow 저장소의 커밋, 브랜치 또는 태그입니다.
라이브러리를 빌드하기 전에 결제하려는 경우 기본적으로
release 브랜치를 사용합니다 위의 명령어는 AAR 파일을 생성합니다.
LiteRT 기본 제공 및 커스텀 작업을 위한 tensorflow-lite.aar
(선택사항)
다음에서 TensorFlow 작업 선택을 위한 AAR 파일 tensorflow-lite-select-tf-ops.aar
현재 디렉터리에 있습니다
--cache_dir은 캐시 디렉터리를 지정합니다. 제공되지 않으면
현재 작업 디렉터리 아래에 bazel-build-cache
라는 디렉터리를
제공합니다
프로젝트에 AAR 파일 추가
AAR을
프로젝트 또는 게시
지역 Maven에 맞춤 AAR을 추가합니다.
저장소를 사용합니다. 참고
tensorflow-lite-select-tf-ops.aar
의 AAR 파일을
좋습니다.
iOS용 선택적 빌드
설정하려면 로컬 빌드 섹션을 참고하세요. 빌드 환경을 설정하고 TensorFlow 작업공간을 구성한 다음 가이드에서 선택적인 빌드 스크립트를 실행합니다.