基准比较 CompiledModel API

LiteRT 基准测试工具可衡量并计算以下重要性能指标的统计信息：

  • 初始化时间
  • 预热状态的推理时间
  • 稳态的推理时间
  • 初始化期间的内存用量
  • 总体内存用量

CompiledModel 基准测试工具以 C++ 二进制文件 benchmark_model 的形式提供。您可以在 Android、Linux、macOS、Windows 和已启用 GPU 加速的嵌入式设备上通过 shell 命令行执行此工具。

下载预构建的基准二进制文件

通过点击以下链接下载每晚预构建的命令行二进制文件：

从源代码构建基准二进制文件

您可以从源代码构建基准二进制文件。

bazel build -c opt //litert/tools:benchmark_model

如需使用 Android NDK 工具链进行构建，您需要先按照此指南设置构建环境，或使用此指南中所述的 Docker 映像。

bazel build -c opt --config=android_arm64 \
  //litert/tools:benchmark_model

运行基准测试

如需运行基准，请从 shell 执行二进制文件。

path/to/downloaded_or_built/benchmark_model \
  --graph=your_model.tflite \
  --num_threads=4

如需了解更多参数选项，请参阅 benchmark_model 的源代码。

对 GPU 加速进行基准比较

这些预构建的二进制文件包括 LiteRT GPU 加速器。它支持

  • Android：OpenCL
  • Linux：OpenCL 和 WebGPU（由 Vulkan 提供支持）
  • macOS：Metal
  • Windows：WebGPU（由 Direct3D 提供支持）

如需使用 GPU 加速器，请传递标志 --use_gpu=true。

分析模型操作

基准模型二进制文件还可用于分析模型操作，并获取每个运算符的执行时间。为此，请在调用期间向 benchmark_model 传递标志 --use_profiler=true。