Mjetet e referencës LiteRT matin dhe llogaritin statistikat për metrikat e mëposhtme të rëndësishme të performancës:
- Koha e inicializimit
- Koha e nxjerrjes së gjendjes së ngrohjes
- Koha e nxjerrjes së përfundimit të gjendjes së qëndrueshme
- Përdorimi i memories gjatë kohës së inicializimit
- Përdorimi i përgjithshëm i memories
Mjeti i krahasimit CompiledModel ofrohet si një skedar binar C++, benchmark_model . Mund ta ekzekutoni këtë mjet nga një linjë komande shell në Android, Linux, macOS, Windows dhe pajisje të integruara me përshpejtimin e GPU-së të aktivizuar.
Shkarkoni skedarë binare të parapërgatitur të referencës
Shkarkoni skedarët binare të linjës së komandës të parapërgatitur çdo natë duke ndjekur lidhjet e mëposhtme:
Ndërtoni binarin e referencës nga burimi nga burimi.
Mund ta ndërtoni skedarin binar të referencës nga burimi .
bazel build -c opt //litert/tools:benchmark_model
Për të ndërtuar me zinxhirin e mjeteve Android NDK, duhet të konfiguroni së pari mjedisin e ndërtimit duke ndjekur këtë udhëzues ose duke përdorur imazhin docker siç përshkruhet në këtë udhëzues .
bazel build -c opt --config=android_arm64 \
//litert/tools:benchmark_model
Ekzekutoni pikën referuese
Për të ekzekutuar testet e standardeve, ekzekutoni skedarin binar nga shell-i.
path/to/downloaded_or_built/benchmark_model \
--graph=your_model.tflite \
--num_threads=4
Më shumë opsione parametrash mund të gjenden në kodin burimor të benchmark_model .
Përshpejtimi i GPU-së së pikës referuese
Këto skedarë binare të parapërgatitur përfshijnë Përshpejtuesin e GPU-së LiteRT. Ai mbështet
- Android: OpenCL
- Linux: OpenCL dhe WebGPU (mbështetur nga Vulkan)
- macOS: Metal
- Windows: WebGPU (mbështetur nga Direct3D)
Për të përdorur Përshpejtuesin e GPU-së, kaloni flamurin --use_gpu=true .
Operacionet e modelit të profilit
Skedari binar i modelit benchmark ju lejon gjithashtu të profilizoni operacionet e modelit dhe të merrni kohët e ekzekutimit të secilit operator. Për ta bërë këtë, kaloni flamurin --use_profiler=true te benchmark_model gjatë thirrjes.