컴파일된 모델 API 벤치마크

LiteRT 벤치마크 도구는 다음 중요한 성능 측정항목의 통계를 측정하고 계산합니다.

• 초기화 시간
• 준비 상태의 추론 시간
• 안정 상태의 추론 시간
• 초기화 시간 동안의 메모리 사용량
• 전체 메모리 사용량

CompiledModel 벤치마크 도구는 C++ 바이너리 benchmark_model로 제공됩니다. GPU 가속이 사용 설정된 Android, Linux, macOS, Windows, 삽입된 기기에서 셸 명령줄로 이 도구를 실행할 수 있습니다.

사전 빌드된 벤치마크 바이너리 다운로드

다음 링크를 따라 야간 빌드 미리 빌드 명령줄 바이너리를 다운로드합니다.

• android_arm64
• linux_x86_64
• linux_arm64
• macos_arm64
• windows_x86_64

소스에서 벤치마크 바이너리 빌드

소스에서 벤치마크 바이너리를 빌드할 수 있습니다.

bazel build -c opt //litert/tools:benchmark_model

Android NDK 도구 모음으로 빌드하려면 먼저 이 가이드에 따라 빌드 환경을 설정하거나 이 가이드에 설명된 대로 Docker 이미지를 사용해야 합니다.

bazel build -c opt --config=android_arm64 \
  //litert/tools:benchmark_model

벤치마크 실행

벤치마크를 실행하려면 셸에서 바이너리를 실행합니다.

path/to/downloaded_or_built/benchmark_model \
  --graph=your_model.tflite \
  --num_threads=4

더 많은 매개변수 옵션은 benchmark_model의 소스 코드에서 확인할 수 있습니다.

GPU 가속 벤치마크

이러한 사전 빌드된 바이너리에는 LiteRT GPU 가속기가 포함됩니다. Kubernetes는

• Android: OpenCL
• Linux: OpenCL 및 WebGPU (Vulkan으로 지원)
• macOS: Metal
• Windows: WebGPU (Direct3D 지원)

GPU 가속기를 사용하려면 --use_gpu=true 플래그를 전달합니다.

프로필 모델 작업

벤치마크 모델 바이너리를 사용하면 모델 작업을 프로파일링하고 각 연산자의 실행 시간을 확인할 수도 있습니다. 이렇게 하려면 호출 중에 --use_profiler=true 플래그를 benchmark_model에 전달합니다.