Alat benchmark LiteRT mengukur dan menghitung statistik untuk metrik performa penting berikut:
- Waktu inisialisasi
- Waktu inferensi status pemanasan
- Waktu inferensi kondisi stabil
- Penggunaan memori selama waktu inisialisasi
- Penggunaan memori keseluruhan
Alat tolok ukur CompiledModel disediakan sebagai program biner C++,
benchmark_model. Anda dapat menjalankan alat ini dari command line shell di
Android, Linux, macOS, Windows, dan perangkat embedded dengan akselerasi GPU
yang diaktifkan.
Mendownload biner tolok ukur bawaan
Download biner command line pra-build harian dengan mengikuti link berikut:
Membangun biner benchmark dari sumber
Anda dapat membuat biner benchmark dari sumber.
bazel build -c opt //litert/tools:benchmark_model
Untuk membangun dengan toolchain Android NDK, Anda harus menyiapkan lingkungan build terlebih dahulu dengan mengikuti panduan ini, atau menggunakan image Docker seperti yang dijelaskan dalam panduan ini.
bazel build -c opt --config=android_arm64 \
//litert/tools:benchmark_model
Menjalankan benchmark
Untuk menjalankan tolok ukur, jalankan biner dari shell.
path/to/downloaded_or_built/benchmark_model \
--graph=your_model.tflite \
--num_threads=4
Opsi parameter lainnya dapat ditemukan di kode sumber benchmark_model.
Mengukur akselerasi GPU
Biner bawaan ini mencakup Akselerator GPU LiteRT. API ini mendukung
- Android: OpenCL
- Linux: OpenCL dan WebGPU (didukung oleh Vulkan)
- macOS: Metal
- Windows: WebGPU (didukung oleh Direct3D)
Untuk menggunakan Akselerator GPU, teruskan tanda --use_gpu=true.
Operasi model profil
Biner model tolok ukur juga memungkinkan Anda membuat profil operasi model dan mendapatkan waktu eksekusi setiap operator. Untuk melakukannya, teruskan tanda
--use_profiler=true ke benchmark_model selama pemanggilan.