تتيح لك مهمة MediaPipe Handmarker اكتشاف معالم الأيدي في الصورة. يمكنك استخدام هذه المهمة لتحديد نقاط الأيدي الرئيسية وعرض التأثيرات المرئية عليها. تعمل هذه المهمة على بيانات الصور باستخدام نموذج تعلُّم الآلة كبيانات ثابتة أو تدفق مستمر وتُخرج معالم اليد في إحداثيات الصور، ومعالم اليد في الإحداثيات العالمية، واليد (اليسرى/اليمنى) لأيّاد متعدّدة مكتشفة.
البدء
ابدأ في استخدام هذه المهمة باتباع أحد أدلة التنفيذ هذه للنظام الأساسي المستهدف. ترشدك هذه الأدلة الخاصة بالنظام الأساسي إلى التنفيذ الأساسي لهذه المهمة، بما في ذلك النموذج المقترح ومثال الرمز البرمجي مع خيارات التهيئة المقترحة:
- Android - مثال على الرمز البرمجي - Guide
- Python - مثال على الرمز البرمجي - Guide
- الويب - مثال على الرمز - Guide
تفاصيل المهمة
يصف هذا القسم الإمكانات والمدخلات والمخرجات وخيارات الضبط لهذه المهمة.
الميزات
- معالجة إدخال الصور: تشمل المعالجة تدوير الصور وتغيير حجمها وتسويتها وتحويل مساحة اللون.
- الحد الأدنى للنتيجة - فلترة النتائج استنادًا إلى نتائج التوقعات.
| إدخالات المهام | نتائج المهام |
|---|---|
تقبل أداة مؤشر اليد إدخال أحد أنواع البيانات التالية:
|
تعطي أداة مؤشر اليد النتائج التالية:
|
خيارات الإعدادات
تتضمن هذه المهمة خيارات الإعداد التالية:
| اسم الخيار | الوصف | نطاق القيمة | القيمة التلقائية |
|---|---|---|---|
running_mode |
تحدِّد هذه السياسة وضع التشغيل للمهمة. هناك ثلاثة
أوضاع: IMAGE: وضع إدخالات الصورة الفردية. فيديو: وضع لقطات الفيديو التي تم فك ترميزها البث المباشر: وضع بث مباشر لبيانات الإدخال، مثل الكاميرا. في هذا الوضع، يجب استدعاء resultsListener لإعداد أداة معالجة الصوت لكي تتلقى النتائج بشكل غير متزامن. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_hands |
الحد الأقصى لعدد الأيدي التي يتم رصدها بواسطة أداة رصد معلَمة اليد | Any integer > 0 |
1 |
min_hand_detection_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة ليتم اعتبار رصد اليد ناجحًا في نموذج اكتشاف راحة اليد. | 0.0 - 1.0 |
0.5 |
min_hand_presence_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة لنتيجة تواجد اليد في نموذج رصد معالِم اليد. في وضع الفيديو ووضع البث المباشر، إذا كانت نتيجة الثقة في تواجد اليد من نموذج علامات اليد أقل من هذا الحدّ، تشغّل أداة قياس راحة اليد نموذج رصد راحة اليد. وبخلاف ذلك، تحدّد خوارزمية تتبُّع بسيطة لليد موقع الأيدي من أجل رصد المعالم لاحقًا. | 0.0 - 1.0 |
0.5 |
min_tracking_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة ليتم اعتبار تتبُّع اليد ناجحًا. هذا هو الحدّ الأدنى لوحدات وحدات القياس بين الأيدي في الإطار الحالي والإطار الأخير. في وضع "الفيديو" ووضع "البث" في أداة قياس اليد، إذا تعذّر إتمام عملية التتبُّع، تشغّل أداة Handمجموعة ميزة "رصد اليد". وفي حال عدم تنفيذ هذا الإجراء، يتخطّى الجهاز ميزة رصد اليد. | 0.0 - 1.0 |
0.5 |
result_callback |
يعمل هذا الإعداد على ضبط أداة معالجة النتائج لتلقّي نتائج الرصد
بشكل غير متزامن عندما يكون معلَم اليد في وضع البث المباشر.
لا ينطبق هذا الإجراء إلا عند ضبط وضع التشغيل على LIVE_STREAM. |
لا ينطبق | لا ينطبق |
النماذج
تستخدم أداة الجذب اليدوية حزمة نموذج مع نموذجين حزمة: نموذج للكشف عن راحة اليد ونموذج الكشف عن معالم اليد. تحتاج إلى حزمة نموذج تحتوي على كلا النموذجين لتشغيل هذه المهمة.
| اسم النموذج | إدخال الشكل | نوع الكمية | بطاقة النموذج | الإصدارات |
|---|---|---|---|---|
| محدّد موقع يدويًا (كامل) | 192 × 192، 224 × 224 | العدد العائم 16 | معلومات | الأحدث |
ترصد حزمة نماذج اليد للمعلَم أقلمة النقاط الرئيسية لـ 21 من الإحداثيات التفصيلية لليد داخل مناطق اليد التي تم رصدها. تم تدريب النموذج على حوالي 30 ألف صورة من الصور الواقعية، بالإضافة إلى العديد من نماذج اليد الاصطناعية المعروضة على خلفيات مختلفة.
تحتوي حزمة نموذج معلم اليد على نموذج اكتشاف راحة اليد ونموذج اكتشاف معالم اليد. يحدد نموذج اكتشاف راحة اليد تحديد موقع اليدين داخل الصورة المدخلة، ويحدد نموذج اكتشاف معالم اليد أي علامات مميزة لليد على صورة اليد التي تم اقتصاصها والتي حددها نموذج اكتشاف راحة اليد.
بما أنّ تشغيل نموذج اكتشاف راحة اليد يستغرق وقتًا طويلاً، وعند استخدام وضع تشغيل الفيديو أو البث المباشر، تستخدم شركة Hand إصلاحer مربع الحدود المحدد من خلال نموذج علامات اليد في إطار واحد لترجمة منطقة الأيدي في الإطارات اللاحقة. لا يُعيد تطبيق Handmarker تشغيل نموذج اكتشاف راحة اليد إلا إذا لم يعد نموذج المعالم لليد يحدد وجود الأيدي أو تعذر تتبعه داخل الإطار. يقلل هذا من عدد المرات التي تقوم فيها شركة Handmarker بتشغيل نموذج اكتشاف راحة اليد.
مقاييس أداء المهام
إليك مقاييس أداء المهمة لمسار العملية بأكمله بناءً على النماذج المدربة مسبقًا أعلاه. وتكون نتيجة وقت الاستجابة هي متوسط وقت الاستجابة على هاتف Pixel 6 باستخدام وحدة المعالجة المركزية (CPU)/وحدة معالجة الرسومات.
| اسم النموذج | وقت استجابة وحدة المعالجة المركزية (CPU) | وقت استجابة وحدة معالجة الرسومات |
|---|---|---|
| محدّد موقع يدويًا (كامل) | 17.12 ملي ثانية | 12.27 ملي ثانية |