Các công cụ đo điểm chuẩn LiteRT đo lường và tính toán số liệu thống kê cho các chỉ số hiệu suất quan trọng sau đây:
- Thời gian khởi chạy
- Thời gian suy luận của trạng thái khởi động
- Thời gian suy luận của trạng thái ổn định
- Mức sử dụng bộ nhớ trong thời gian khởi chạy
- Tổng mức sử dụng bộ nhớ
Công cụ đo điểm chuẩn CompiledModel được cung cấp dưới dạng một tệp nhị phân C++, benchmark_model. Bạn có thể thực thi công cụ này từ dòng lệnh shell trên Android, Linux, macOS, Windows và các thiết bị nhúng có bật tính năng tăng tốc GPU.
Tải tệp nhị phân điểm chuẩn tạo sẵn xuống
Tải các tệp nhị phân dòng lệnh được tạo sẵn hằng đêm xuống bằng cách làm theo các đường liên kết sau:
Tạo tệp nhị phân điểm chuẩn từ nguồn
Bạn có thể tạo tệp nhị phân điểm chuẩn từ nguồn.
bazel build -c opt //litert/tools:benchmark_model
Để tạo bằng chuỗi công cụ Android NDK, trước tiên, bạn cần thiết lập môi trường tạo bằng cách làm theo hướng dẫn này hoặc sử dụng hình ảnh docker như mô tả trong hướng dẫn này.
bazel build -c opt --config=android_arm64 \
//litert/tools:benchmark_model
Chạy phép đo điểm chuẩn
Để chạy phép đo điểm chuẩn, hãy thực thi tệp nhị phân từ trình bao.
path/to/downloaded_or_built/benchmark_model \
--graph=your_model.tflite \
--num_threads=4
Bạn có thể xem thêm các lựa chọn về tham số trong mã nguồn của benchmark_model.
Đo điểm chuẩn khả năng tăng tốc GPU
Các tệp nhị phân được tạo sẵn này bao gồm Trình tăng tốc GPU LiteRT. Chiến dịch này hỗ trợ
- Android: OpenCL
- Linux: OpenCL và WebGPU (được Vulkan hỗ trợ)
- macOS: Metal
- Windows: WebGPU (được hỗ trợ bởi Direct3D)
Để sử dụng Trình tăng tốc GPU, hãy truyền cờ --use_gpu=true.
Các hoạt động về mô hình hồ sơ
Tệp nhị phân của mô hình đo điểm chuẩn cũng cho phép bạn lập hồ sơ về các hoạt động của mô hình và nhận thời gian thực thi của từng toán tử. Để thực hiện việc này, hãy truyền cờ --use_profiler=true đến benchmark_model trong quá trình gọi.