تتيح لك مهمة MediaPipe Face Builderer اكتشاف معالم الوجه وتعبيرات الوجه في الصور والفيديوهات. يمكنك استخدام هذه المهمة لتحديد تعبيرات الوجه البشرية، وتطبيق فلاتر الوجه ومؤثراته، وإنشاء صور رمزية افتراضية. تستخدم هذه المهمة نماذج التعلم الآلي (ML) التي يمكنها العمل مع الصور الفردية أو التدفق المستمر للصور. وتنتج المهمة معالم ثلاثية الأبعاد للوجه، ودرجات لمزج الأشكال (معاملات تمثل تعبيرات الوجه) لاستنتاج تفاصيل عن أسطح الوجه في الوقت الفعلي، ومصفوفات تحويل لإجراء عمليات التحويل المطلوبة لعرض التأثيرات.
البدء
ابدأ في استخدام هذه المهمة باتّباع أحد أدلة التنفيذ للمنصّة المستهدَفة. ترشدك هذه الأدلة الخاصة بالنظام الأساسي إلى التنفيذ الأساسي لهذه المهمة، بما في ذلك النموذج المقترح ومثال الرمز البرمجي مع خيارات التهيئة المقترحة:
- Android - مثال على الرمز البرمجي - Guide
- Python - مثال على الرمز البرمجي - Guide
- الويب - مثال على الرمز - Guide
تفاصيل المهمة
يصف هذا القسم الإمكانات والمدخلات والمخرجات وخيارات الضبط لهذه المهمة.
الميزات
- معالجة إدخال الصور: تشمل المعالجة تدوير الصور وتغيير حجمها وتسويتها وتحويل مساحة اللون.
- الحد الأدنى للنتيجة - فلترة النتائج استنادًا إلى نتائج التوقعات.
| إدخالات المهام | نتائج المهام |
|---|---|
تقبل أداة "التعرّف على الوجه" إدخال أحد أنواع البيانات التالية:
|
تعطي أداة Facemarker النتائج التالية:
|
خيارات الإعدادات
تتضمن هذه المهمة خيارات الإعداد التالية:
| اسم الخيار | الوصف | نطاق القيمة | القيمة التلقائية |
|---|---|---|---|
running_mode |
تحدِّد هذه السياسة وضع التشغيل للمهمة. هناك ثلاثة
أوضاع: IMAGE: وضع إدخالات الصورة الفردية. فيديو: وضع لقطات الفيديو التي تم فك ترميزها البث المباشر: وضع بث مباشر لبيانات الإدخال، مثل الكاميرا. في هذا الوضع، يجب استدعاء resultsListener لإعداد أداة معالجة الصوت لكي تتلقى النتائج بشكل غير متزامن. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
الحدّ الأقصى لعدد الوجوه التي يمكن رصدها باستخدام
FaceLandmarker. لا يتم تطبيق التجانس إلا عند ضبط
num_faces على 1.
|
Integer > 0 |
1 |
min_face_detection_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة ليتم اعتبار ميزة "التعرّف على الوجوه" ناجحة. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة لنتيجة تواجد الوجه في ميزة "رصد معالِم الوجه". | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
تمثّل هذه السمة الحد الأدنى لدرجة الثقة ليتم اعتبار ميزة تتبُّع الوجه ناجحة. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
يمكنك اختيار ما إذا كانت أداة "التعرّف على الوجه" تُخرج أشكالاً ممزوجة بالوجه. يتم استخدام أشكال مزج الوجوه لعرض نموذج الوجه الثلاثي الأبعاد. | Boolean |
False |
output_facial_transformation_matrixes |
ما إذا كانت FaceLandmarker تُخرج مصفوفة تحويل الوجوه. يستخدم FaceLandmarker المصفوفة لتحويل معالم الوجه من نموذج الوجه الأساسي إلى الوجه الذي تم رصده ليتمكّن المستخدمون من تطبيق التأثيرات على المعالم التي تم اكتشافها. | Boolean |
False |
result_callback |
تعمل هذه السياسة على ضبط أداة معالجة النتائج لتلقّي نتائج المَعلمة
بشكل غير متزامن عندما يكون FaceLandmarker في وضع البث المباشر.
لا يمكن استخدام هذا الخيار إلا عند ضبط وضع التشغيل على LIVE_STREAM. |
ResultListener |
N/A |
النماذج
تستخدم أداة "التعرّف على الوجه" سلسلة من النماذج للتنبؤ بالمعالم المواجهة للوجه. يرصد النموذج الأول الوجوه، ويحدّد النموذج الثاني المعالم على الوجوه المكتشفة، ويستخدم النموذج الثالث هذه المعالم لتحديد ملامح الوجه وتعبيرات الوجه.
يتم تجميع النماذج التالية معًا في حزمة نماذج قابلة للتنزيل:
- نموذج التعرّف على الوجوه: يرصد وجود وجوه مع بعض المعالم الرئيسية للوجه.
- نموذج شبكة الوجه المتداخلة: يؤدي هذا الإجراء إلى إضافة خريطة كاملة للوجه. يقدم النموذج تقديرًا لـ 478 معلمًا ثلاثي الأبعاد للوجه.
- نموذج توقُّع الشكل المختلط: يتلقى مخرجات من نموذج "شبكة الوجه المتداخلة" 52 نتيجة لشكل المزج، وهي معامِلات تمثّل تعابير الوجه المختلفة.
نموذج "التعرّف على الوجه" هو نموذج BlazeFace القصير المدى وهو أداة رصد خفيفة ودقيقة للوجه تم تحسينها لاستنتاج وحدة معالجة الرسومات على الأجهزة الجوّالة. للحصول على مزيد من المعلومات، يمكنك الاطّلاع على مَهمّة أداة التعرّف على الوجوه.
تُظهر الصورة أدناه خريطة كاملة لمعالم الوجه من ناتج مجموعة النماذج.
للحصول على عرض أكثر تفصيلاً لمعالم الوجه، يمكنك الاطّلاع على الصورة بالحجم الكامل.
| حزمة النماذج | إدخال الشكل | نوع البيانات | بطاقات النماذج | الإصدارات |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 × 192 FaceMesh-V2: 256 × 256 شكل المزيج: 1 × 146 × 2 |
العدد العائم 16 |
FaceDetector FaceMesh-V2 شكل متكامل |
الأحدث |