本页介绍了如何借助 CMake 工具构建和使用 TensorFlow Lite 库。
以下说明已在 Ubuntu 16.04.3 64 位 PC (AMD64)、macOS Catalina (x86_64)、Windows 10 和 TensorFlow devel Docker 映像 tensorflow/tensorflow:devel 上进行了测试。
第 1 步:安装 CMake 工具
它需要 CMake 3.16 或更高版本。在 Ubuntu 中,您只需运行以下命令。
sudo apt-get install cmake
或者,您也可以按照官方 CMake 安装指南中的说明操作
第 2 步:克隆 TensorFlow 代码库
git clone https://github.com/tensorflow/tensorflow.git tensorflow_src
第 3 步:创建 CMake build 目录
mkdir tflite_build
cd tflite_build
第 4 步:使用配置运行 CMake 工具
发布 build
默认情况下,它会生成经过优化的发布二进制文件。如果要为工作站构建,只需运行以下命令。
cmake ../tensorflow_src/tensorflow/lite
调试 build
如果您需要生成包含符号信息的调试 build,则需要提供 -DCMAKE_BUILD_TYPE=Debug
选项。
cmake ../tensorflow_src/tensorflow/lite -DCMAKE_BUILD_TYPE=Debug
使用内核单元测试进行构建
为了能够运行内核测试,您需要提供 -DTFLITE_KERNEL_TEST=on
标志。下一小节中介绍了单元测试交叉编译的细节。
cmake ../tensorflow_src/tensorflow/lite -DTFLITE_KERNEL_TEST=on
构建可安装软件包
如需构建可供另一个使用 find_package(tensorflow-lite CONFIG)
的 CMake 项目用作依赖项的可安装软件包,请使用 -DTFLITE_ENABLE_INSTALL=ON
选项。
理想情况下,您还应提供自己的库依赖项版本。依赖于 TF Lite 的项目也需要使用这些变体。您可以使用 -DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON
并将 <PackageName>_DIR
变量设置为指向库安装。
cmake ../tensorflow_src/tensorflow/lite -DTFLITE_ENABLE_INSTALL=ON \
-DCMAKE_FIND_PACKAGE_PREFER_CONFIG=ON \
-DSYSTEM_FARMHASH=ON \
-DSYSTEM_PTHREADPOOL=ON \
-Dabsl_DIR=<install path>/lib/cmake/absl \
-DEigen3_DIR=<install path>/share/eigen3/cmake \
-DFlatBuffers_DIR=<install path>/lib/cmake/flatbuffers \
-Dgemmlowp_DIR=<install path>/lib/cmake/gemmlowp \
-DNEON_2_SSE_DIR=<install path>/lib/cmake/NEON_2_SSE \
-Dcpuinfo_DIR=<install path>/share/cpuinfo \
-Druy_DIR=<install path>/lib/cmake/ruy
交叉编译
您可以使用 CMake 为 ARM64 或 Android 目标架构构建二进制文件。
为了交叉编译 TF Lite,您需要通过 -DCMAKE_TOOLCHAIN_FILE
标志提供 SDK 的路径(例如,在 Android 的情况下为 ARM64 SDK 或 NDK)。
cmake -DCMAKE_TOOLCHAIN_FILE=<CMakeToolchainFileLoc> ../tensorflow/lite/
Android 交叉编译的细节
对于 Android 交叉编译,您需要安装 Android NDK 并提供带有上述 -DCMAKE_TOOLCHAIN_FILE
标志的 NDK 路径。您还需要使用 -DANDROID_ABI
标志设置目标 ABI。
cmake -DCMAKE_TOOLCHAIN_FILE=<NDK path>/build/cmake/android.toolchain.cmake \
-DANDROID_ABI=arm64-v8a ../tensorflow_src/tensorflow/lite
内核(单元)测试交叉编译的具体说明
交叉编译单元测试需要主机架构的 Flatc 编译器。为此,tensorflow/lite/tools/cmake/native_tools/flatbuffers
中有一个 CMakeLists,用于提前使用主机工具链在单独的 build 目录中使用 CMake 构建 Flatc 编译器。
mkdir flatc-native-build && cd flatc-native-build
cmake ../tensorflow_src/tensorflow/lite/tools/cmake/native_tools/flatbuffers
cmake --build .
您还可以将 flatc 安装到自定义安装位置(例如,安装到包含其他原生构建的工具的目录,而不是 CMake build 目录):
cmake -DCMAKE_INSTALL_PREFIX=<native_tools_dir> ../tensorflow_src/tensorflow/lite/tools/cmake/native_tools/flatbuffers
cmake --build .
对于 TF Lite 交叉编译本身,需要同时提供上述 -DTFLITE_KERNEL_TEST=on
标志以及指向包含原生 flatc 二进制文件的目录的额外参数 -DTFLITE_HOST_TOOLS_DIR=<flatc_dir_path>
。
cmake -DCMAKE_TOOLCHAIN_FILE=${OE_CMAKE_TOOLCHAIN_FILE} -DTFLITE_KERNEL_TEST=on -DTFLITE_HOST_TOOLS_DIR=<flatc_dir_path> ../tensorflow/lite/
在目标平台上启动交叉编译的内核(单元)测试
单元测试可以作为单独的可执行文件运行,也可以使用 CTest 实用程序运行。就 CTest 而言,如果为 TF Lite build 启用了至少一个参数 TFLITE_ENABLE_XNNPACKor
TFLITE_EXTERNAL_DELEGATE`,所生成的测试会使用两个不同的标签(使用相同的测试可执行文件)生成:- 普通 - 表示在 CPU 后端运行的其他测试 - 表示用于 CPU 后端的测试 - 委托
CTestTestfile.cmake
和 run-tests.cmake
(如下所述)均在 <build_dir>/kernels
中提供。
使用 CPU 后端启动单元测试(前提是 CTestTestfile.cmake
位于当前目录中的目标上):
ctest -L plain
使用委托启动单元测试的示例(前提是当前目录中的目标上存在 CTestTestfile.cmake
和 run-tests.cmake
文件):
cmake -E env TESTS_ARGUMENTS=--use_xnnpack=true ctest -L delegate
cmake -E env TESTS_ARGUMENTS=--external_delegate_path=<PATH> ctest -L delegate
以这种方式为单元测试提供额外的委托相关的启动参数的一个已知限制是,它实际上仅支持预期返回值为 0 的参数。不同的返回值将报告为测试失败。
OpenCL GPU 代理
如果您的目标机器支持 OpenCL,您可以使用 GPU 代理来利用 GPU 性能。
如需配置 OpenCL GPU 代理支持,请执行以下操作:
cmake ../tensorflow_src/tensorflow/lite -DTFLITE_ENABLE_GPU=ON
第 5 步:构建 TensorFlow Lite
在 tflite_build
目录中,
cmake --build . -j
第 6 步:构建 TensorFlow Lite 基准工具和标签图片示例(可选)
在 tflite_build
目录中,
cmake --build . -j -t benchmark_model
cmake --build . -j -t label_image
用于构建 TensorFlow Lite 的可用选项
下面列出了可用的选项。您可以将其替换为 -D<option_name>=[ON|OFF]
。例如,指定 -DTFLITE_ENABLE_XNNPACK=OFF
可停用默认启用的 XNNPACK。
选项名称 | 特征 | Android | Linux | macOS | Windows |
---|---|---|---|---|---|
TFLITE_ENABLE_RUY
|
启用 RUY 矩阵乘法库 | 开启 | 关闭 | 关闭 | 关闭 |
TFLITE_ENABLE_GPU
|
启用 GPU 委托 | 关闭 | 关闭 | 不适用 | 不适用 |
TFLITE_ENABLE_XNNPACK
|
启用 XNNPACK 委托 | 开启 | 开启 | 开启 | 开启 |
TFLITE_ENABLE_MMAP |
启用 MMAP | 已启用 | 已启用 | 已启用 | N/A |
创建一个使用 TensorFlow Lite 的 CMake 项目
以下是 TFLite 最小示例的 CMakeLists.txt。
您需要为 TensorFlow Lite 目录添加 add_subdirectory(),并将 tensorflow-lite
与 target_link_library() 关联。
cmake_minimum_required(VERSION 3.16)
project(minimal C CXX)
set(TENSORFLOW_SOURCE_DIR "" CACHE PATH
"Directory that contains the TensorFlow project" )
if(NOT TENSORFLOW_SOURCE_DIR)
get_filename_component(TENSORFLOW_SOURCE_DIR
"${CMAKE_CURRENT_LIST_DIR}/../../../../" ABSOLUTE)
endif()
add_subdirectory(
"${TENSORFLOW_SOURCE_DIR}/tensorflow/lite"
"${CMAKE_CURRENT_BINARY_DIR}/tensorflow-lite" EXCLUDE_FROM_ALL)
add_executable(minimal minimal.cc)
target_link_libraries(minimal tensorflow-lite)
构建 TensorFlow Lite C 库
如果您要为 C API 构建 TensorFlow Lite 共享库,请先按照第 1 步到第 3 步操作。然后运行以下命令。
cmake ../tensorflow_src/tensorflow/lite/c
cmake --build . -j
此命令会在当前目录中生成以下共享库。
平台 | 图书馆名称 |
---|---|
Linux | libtensorflowlite_c.so |
macOS | libtensorflowlite_c.dylib |
Windows | tensorflowlite_c.dll |