ابزارهای بنچمارک LiteRT آمار مربوط به معیارهای عملکرد مهم زیر را اندازهگیری و محاسبه میکنند:
- زمان اولیه سازی
- زمان استنتاج حالت گرم شدن
- زمان استنتاج حالت پایدار
- استفاده از حافظه در زمان مقداردهی اولیه
- استفاده کلی از حافظه
ابزار بنچمارک CompiledModel به صورت یک فایل باینری C++ به benchmark_model ارائه میشود. میتوانید این ابزار را از طریق خط فرمان shell در اندروید، لینوکس، macOS، ویندوز و دستگاههای تعبیهشده با شتابدهنده GPU فعال اجرا کنید.
دانلود فایلهای باینری از پیش ساخته شده برای بنچمارک
با دنبال کردن لینکهای زیر، فایلهای باینری خط فرمان از پیش ساخته شده nightly را دانلود کنید:
ساخت بنچمارک دودویی از منبع
شما میتوانید فایل باینری معیار را از سورس بسازید.
bazel build -c opt //litert/tools:benchmark_model
برای ساخت با استفاده از ابزار Android NDK، ابتدا باید محیط ساخت را با دنبال کردن این راهنما تنظیم کنید، یا از تصویر داکر همانطور که در این راهنما توضیح داده شده است استفاده کنید.
bazel build -c opt --config=android_arm64 \
//litert/tools:benchmark_model
اجرای بنچمارک
برای اجرای بنچمارکها، فایل باینری را از پوسته اجرا کنید.
path/to/downloaded_or_built/benchmark_model \
--graph=your_model.tflite \
--num_threads=4
گزینههای پارامتر بیشتر را میتوانید در کد منبع benchmark_model بیابید.
شتابدهی GPU بنچمارک
این فایلهای باینری از پیش ساخته شده شامل شتابدهنده پردازنده گرافیکی LiteRT هستند. این پشتیبانی میکند
- اندروید: اوپنسیال
- لینوکس: OpenCL و WebGPU (با پشتیبانی Vulkan)
- macOS: فلز
- ویندوز: WebGPU (با پشتیبانی Direct3D)
برای استفاده از شتابدهندهی پردازندهی گرافیکی (GPU Accelerator)، از پرچم --use_gpu=true استفاده کنید.
گزینههای مدل پروفایل
فایل باینری مدل معیار همچنین به شما امکان میدهد عملیات مدل را پروفایل کنید و زمان اجرای هر عملگر را دریافت کنید. برای انجام این کار، در هنگام فراخوانی، پرچم --use_profiler=true را به benchmark_model ارسال کنید.