دليل رصد معالِم الوجه

مهمة "تحديد موضع الوجه"

تتيح لك مهمة "أداة تحديد معالم الوجه" في MediaPipe إمكانية رصد معالم الوجه وتعبيرات الوجه في الصور والفيديوهات. يمكنك استخدام هذه المهمة لتحديد تعابير الوجه البشري، وتطبيق فلاتر وتأثيرات على الوجه، وإنشاء صور أفاتار افتراضية. تستخدم هذه المهمة نماذج تعلُّم آلي يمكنها التعامل مع صور فردية أو سلسلة متواصلة من الصور. تنتج المهمة نقاطًا مرجعية ثلاثية الأبعاد للوجه، ونتائج blendshape (معاملات تمثّل تعابير الوجه) لاستنتاج تفاصيل سطوح الوجه في الوقت الفعلي، ومصفوفات التحويل لتنفيذ عمليات التحويل المطلوبة لعرض المؤثرات.

جرِّبها الآن

البدء

يمكنك البدء باستخدام هذه المهمة باتّباع أحد أدلة التنفيذ المخصّصة للنظام الأساسي المستهدف. ترشدك هذه الأدلة الخاصة بكل منصة إلى كيفية تنفيذ هذه المهمة بشكل أساسي، بما في ذلك نموذج مقترَح ومثال على الرمز البرمجي مع خيارات الإعداد المقترَحة:

تفاصيل المهمة

يوضّح هذا القسم إمكانات هذه المهمة ومدخلاتها ومخرجاتها وخيارات إعدادها.

الميزات

  • معالجة صورة الإدخال: تشمل المعالجة تدوير الصورة وتغيير حجمها وتسويتها وتحويل مساحة الألوان.
  • حدّ النقاط: لفلترة النتائج استنادًا إلى نقاط التوقّع
مدخلات المهام مخرجات المهام
يقبل Face Landmarker إدخال أحد أنواع البيانات التالية:
  • الصور الثابتة
  • إطارات الفيديو التي تم فك ترميزها
  • خلاصة فيديو مباشر
 تُخرج أداة Face Landmarker النتائج التالية:
  • شبكة وجه كاملة لكل وجه يتم رصده، مع نتائج blendshape تشير إلى تعابير الوجه وإحداثيات ملامح الوجه
  • مصفوفات Face Blendshape وFacial transformation

خيارات الإعدادات

تتضمّن هذه المهمة خيارات الإعداد التالية:

اسم الخيار الوصف نطاق القيم القيمة التلقائية
running_mode تضبط هذه السمة وضع التشغيل للمهمة. تتوفّر ثلاثة أوضاع:

الصورة: الوضع المخصّص لإدخال صورة واحدة.

الفيديو: وضع الإطارات التي تم فك ترميزها في الفيديو

LIVE_STREAM: وضع البث المباشر لبيانات الإدخال، مثل البيانات الواردة من كاميرا. في هذا الوضع، يجب استدعاء resultListener لإعداد أداة معالجة لتلقّي النتائج بشكل غير متزامن.		 ‎{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_faces الحد الأقصى لعدد الوجوه التي يمكن أن يرصدها FaceLandmarker. لا يتم تطبيق التنعيم إلا عندما يكون num_faces مضبوطًا على 1. Integer > 0 1
min_face_detection_confidence الحد الأدنى لنتيجة الثقة المطلوبة لنجاح عملية رصد الوجه. Float [0.0,1.0] 0.5
min_face_presence_confidence الحد الأدنى لنتيجة الثقة في رصد الوجه في عملية رصد المعالم. Float [0.0,1.0] 0.5
min_tracking_confidence تمثّل هذه السمة الحد الأدنى لدرجة الثقة التي يجب تحقيقها حتى يتم اعتبار عملية تتبُّع الوجه ناجحة. Float [0.0,1.0] 0.5
output_face_blendshapes تحديد ما إذا كان Face Landmarker يعرض أشكال الوجه الممزوجة. يتم استخدام أشكال الوجه الممزوجة لعرض نموذج الوجه الثلاثي الأبعاد. Boolean False
output_facial_transformation_matrixes تحديد ما إذا كان سيتم عرض مصفوفة تحويل الوجه في FaceLandmarker تستخدم أداة FaceLandmarker المصفوفة لتحويل معالم الوجه من نموذج وجه أساسي إلى الوجه الذي تم رصده، ما يتيح للمستخدمين تطبيق المؤثرات على المعالم التي تم رصدها. Boolean False
result_callback تضبط هذه السمة أداة معالجة النتائج لتلقّي نتائج التعرّف على المعالم بشكل غير متزامن عندما يكون FaceLandmarker في وضع البث المباشر. لا يمكن استخدامها إلا عندما يكون وضع التشغيل مضبوطًا على LIVE_STREAM ResultListener N/A

النماذج

تستخدم أداة Face Landmarker سلسلة من النماذج لتوقّع نقاط الوجه. يرصد النموذج الأول الوجوه، ويحدّد النموذج الثاني المواقع الجغرافية للمعالم على الوجوه المرصودة، ويستخدم النموذج الثالث هذه المواقع الجغرافية للتعرّف على ملامح الوجه وتعبيرات الوجه.

يتم تجميع الطُرز التالية معًا في حزمة طُرز قابلة للتنزيل:

  • نموذج رصد الوجوه: يرصد وجود وجوه مع بعض الملامح الرئيسية.
  • نموذج شبكة الوجه: يضيف عملية ربط كاملة للوجه. يُخرج النموذج تقديرًا لـ 478 نقطة مميزة ثلاثية الأبعاد للوجه.
  • نموذج توقّع Blendshape: يتلقّى هذا النموذج الناتج من نموذج شبكة الوجه، ويتوقّع 52 نتيجة Blendshape، وهي معاملات تمثّل تعابير الوجه المختلفة.

نموذج رصد الوجوه هو نموذج BlazeFace قصير المدى، وهو أداة رصد وجوه خفيفة الوزن ودقيقة تم تحسينها للاستدلال على وحدات معالجة الرسومات على الأجهزة الجوّالة. لمزيد من المعلومات، اطّلِع على مهمة أداة رصد الوجوه.

تعرض الصورة أدناه عملية ربط كاملة بين نقاط الوجه البارزة وناتج حزمة النموذج.

نقاط رئيسية في ميزة "التعرّف على معالم الوجه"

للاطّلاع على عرض أكثر تفصيلاً لمعالم الوجه، يمكنك الاطّلاع على الصورة بالحجم الكامل.

حزمة النماذج شكل الإدخال نوع البيانات بطاقات النماذج الإصدارات
FaceLandmarker FaceDetector: 192 x 192
FaceMesh-V2: 256 x 256
Blendshape: 1 x 146 x 2 		float 16 FaceDetector
FaceMesh-V2
Blendshape
 الأحدث