基準 CompiledModel API

LiteRT 基準化工具會測量及計算下列重要效能指標的統計資料：

  • 初始化時間
  • 暖機狀態的推論時間
  • 穩定狀態的推論時間
  • 初始化期間的記憶體用量
  • 整體記憶體用量

CompiledModel 基準測試工具以 C++ 二進位檔 benchmark_model 的形式提供。您可以在 Android、Linux、macOS、Windows 和已啟用 GPU 加速功能的嵌入式裝置上，透過殼層指令列執行這項工具。

下載預建的基準測試二進位檔

請按照下列連結下載每夜預先建構的指令列二進位檔：

從來源建構基準測試二進位檔

您可以從來源建構基準測試二進位檔。

bazel build -c opt //litert/tools:benchmark_model

如要使用 Android NDK 工具鍊建構，請先按照這份指南設定建構環境，或使用這份指南所述的 Docker 映像檔。

bazel build -c opt --config=android_arm64 \
  //litert/tools:benchmark_model

執行基準測試

如要執行基準測試，請從殼層執行二進位檔。

path/to/downloaded_or_built/benchmark_model \
  --graph=your_model.tflite \
  --num_threads=4

如要查看更多參數選項，請參閱 benchmark_model 的原始碼。

GPU 加速基準測試

這些預先建構的二進位檔包含 LiteRT GPU 加速器。包括

  • Android：OpenCL
  • Linux：OpenCL 和 WebGPU (以 Vulkan 為後端)
  • macOS：Metal
  • Windows：WebGPU (由 Direct3D 支援)

如要使用 GPU 加速器，請傳遞 --use_gpu=true 標記。

剖析模型運算

基準模型二進位檔也能讓您分析模型運算，並取得每個運算子的執行時間。如要這麼做，請在叫用期間將 --use_profiler=true 旗標傳遞至 benchmark_model。