تقيس أدوات قياس الأداء في LiteRT وتحسب إحصاءات لمقاييس الأداء المهمة التالية:
- وقت الإعداد
- وقت الاستنتاج في حالة الإحماء
- وقت الاستنتاج في الحالة الثابتة
- استخدام الذاكرة أثناء وقت الإعداد
- الاستخدام العام للذاكرة
يتم توفير أداة قياس الأداء CompiledModel كملف ثنائي C++،
benchmark_model. يمكنك تنفيذ هذه الأداة من سطر أوامر shell على أنظمة التشغيل Android وLinux وmacOS وWindows والأجهزة المضمّنة التي تم تفعيل تسريعها باستخدام وحدة معالجة الرسومات.
تنزيل ملفات ثنائية لمقياس أداء مصمَّم مسبقًا
نزِّل ملفات ثنائية مُنشأة مسبقًا لسطر الأوامر من خلال اتّباع الروابط التالية:
إنشاء ملف ثنائي معياري من المصدر
يمكنك إنشاء رمز ثنائي خاص بمقياس الأداء من المصدر.
bazel build -c opt //litert/tools:benchmark_model
لإنشاء تطبيق باستخدام مجموعة أدوات Android NDK، عليك أولاً إعداد بيئة الإنشاء باتّباع هذا الدليل، أو استخدام صورة Docker كما هو موضّح في هذا الدليل.
bazel build -c opt --config=android_arm64 \
//litert/tools:benchmark_model
إجراء قياس الأداء
لتشغيل مقاييس الأداء، نفِّذ الملف الثنائي من واجهة المستخدم.
path/to/downloaded_or_built/benchmark_model \
--graph=your_model.tflite \
--num_threads=4
يمكنك الاطّلاع على المزيد من خيارات المَعلمات في رمز المصدر الخاص بـ benchmark_model.
قياس أداء تسريع وحدة معالجة الرسومات
وتتضمّن هذه الملفات الثنائية المُنشأة مسبقًا أداة تسريع وحدة معالجة الرسومات LiteRT. يتوافق مع
- Android: OpenCL
- Linux: OpenCL وWebGPU (مدعومان من Vulkan)
- macOS: Metal
- Windows: WebGPU (مدعوم من Direct3D)
لاستخدام مسرِّع وحدة معالجة الرسومات، مرِّر العلامة --use_gpu=true.
عمليات نموذج الملف الشخصي
يتيح لك ملف ثنائي لنموذج قياسي أيضًا إنشاء ملف تعريف لعمليات النموذج والحصول على أوقات التنفيذ لكل عامل تشغيل. لإجراء ذلك، مرِّر العلامة
--use_profiler=true إلى benchmark_model أثناء الاستدعاء.