وظیفه MediaPipe Face Landmarker به شما امکان می دهد نشانه های چهره و حالات چهره را در تصاویر و ویدیوها تشخیص دهید. می توانید از این کار برای شناسایی حالات چهره انسان، اعمال فیلترها و افکت های صورت و ایجاد آواتارهای مجازی استفاده کنید. این کار از مدل‌های یادگیری ماشینی (ML) استفاده می‌کند که می‌توانند با تصاویر منفرد یا جریان مداوم تصاویر کار کنند. این کار، نشانه‌های سه بعدی چهره، امتیازهای ترکیبی (ضرایبی که بیانگر حالت چهره است) برای استنتاج جزئیات سطوح صورت در زمان واقعی، و ماتریس‌های تبدیل برای انجام دگرگونی‌های مورد نیاز برای رندر افکت‌ها را خروجی می‌دهد.
شروع کنید
استفاده از این کار را با دنبال کردن یکی از راهنماهای پیاده سازی برای پلتفرم هدف خود شروع کنید. این راهنماهای مخصوص پلتفرم شما را از طریق اجرای اساسی این کار، از جمله یک مدل توصیه شده، و نمونه کد با گزینه های پیکربندی توصیه شده، راهنمایی می کنند:
جزئیات کار
این بخش قابلیت ها، ورودی ها، خروجی ها و گزینه های پیکربندی این کار را شرح می دهد.
امکانات
- پردازش تصویر ورودی - پردازش شامل چرخش تصویر، تغییر اندازه، عادی سازی و تبدیل فضای رنگی است.
- آستانه امتیاز - نتایج را بر اساس نمرات پیش بینی فیلتر کنید.
| ورودی های وظیفه | خروجی های وظیفه |
|---|---|
Face Landmarker ورودی یکی از انواع داده های زیر را می پذیرد:
| Face Landmarker نتایج زیر را به دست می دهد:
|
گزینه های پیکربندی
این کار دارای گزینه های پیکربندی زیر است:
| نام گزینه | شرح | محدوده ارزش | مقدار پیش فرض |
|---|---|---|---|
running_mode | حالت اجرا را برای کار تنظیم می کند. سه حالت وجود دارد: IMAGE: حالت برای ورودی های تک تصویر. VIDEO: حالت برای فریم های رمزگشایی شده یک ویدیو. LIVE_STREAM: حالت پخش زنده داده های ورودی، مانند دوربین. در این حالت، resultListener باید فراخوانی شود تا شنونده ای را برای دریافت نتایج به صورت ناهمزمان تنظیم کند. | { IMAGE, VIDEO, LIVE_STREAM } | IMAGE |
num_faces | حداکثر تعداد چهره هایی که می تواند توسط FaceLandmarker شناسایی شود. صاف کردن فقط زمانی اعمال می شود که num_faces روی 1 تنظیم شده باشد. | Integer > 0 | 1 |
min_face_detection_confidence | حداقل امتیاز اطمینان برای تشخیص چهره موفق در نظر گرفته شود. | Float [0.0,1.0] | 0.5 |
min_face_presence_confidence | حداقل امتیاز اطمینان نمره حضور چهره در تشخیص نقطه عطف چهره. | Float [0.0,1.0] | 0.5 |
min_tracking_confidence | حداقل امتیاز اطمینان برای ردیابی چهره موفق در نظر گرفته شود. | Float [0.0,1.0] | 0.5 |
output_face_blendshapes | آیا Face Landmarker ترکیب‌بندی چهره را خروجی می‌دهد. ترکیب صورت برای رندر کردن مدل چهره سه بعدی استفاده می شود. | Boolean | False |
output_facial_transformation_matrixes | آیا FaceLandmarker ماتریس تبدیل چهره را خروجی می دهد یا خیر. FaceLandmarker از ماتریس برای تبدیل نشانه‌های چهره از یک مدل چهره متعارف به چهره شناسایی‌شده استفاده می‌کند، بنابراین کاربران می‌توانند افکت‌ها را روی نشانه‌های شناسایی شده اعمال کنند. | Boolean | False |
result_callback | شنونده نتیجه را طوری تنظیم می کند که وقتی FaceLandmarker در حالت پخش زنده است، نتایج نشانگر را به صورت ناهمزمان دریافت کند. فقط زمانی قابل استفاده است که حالت اجرا روی LIVE_STREAM تنظیم شده باشد | ResultListener | N/A |
مدل ها
Face Landmarker از مجموعه ای از مدل ها برای پیش بینی نشانه های چهره استفاده می کند. مدل اول چهره ها را شناسایی می کند، مدل دوم نشانه ها را بر روی چهره های شناسایی شده قرار می دهد و مدل سوم از آن نشانه ها برای شناسایی ویژگی ها و حالات چهره استفاده می کند.
مدل های زیر با هم در یک بسته مدل قابل دانلود بسته بندی می شوند:
- مدل تشخیص چهره : حضور چهره‌ها را با چند نشانه کلیدی چهره تشخیص می‌دهد.
- مدل مش صورت : یک نقشه کامل از صورت را اضافه می کند. این مدل تخمینی از 478 نقطه عطف چهره 3 بعدی را ارائه می دهد.
- مدل پیش‌بینی ترکیب شکل : خروجی را از مدل مش چهره دریافت می‌کند و 52 امتیاز ترکیب شکل را پیش‌بینی می‌کند، که ضرایبی هستند که بیانگر حالات مختلف چهره هستند.
مدل تشخیص چهره، مدل برد کوتاه BlazeFace ، یک آشکارساز چهره سبک وزن و دقیق است که برای استنتاج GPU موبایل بهینه شده است. برای اطلاعات بیشتر، به کار تشخیص چهره مراجعه کنید.
تصویر زیر نقشه‌برداری کاملی از نشانه‌های چهره را از خروجی باندل مدل نشان می‌دهد.
برای مشاهده جزئیات بیشتر از نشانه های چهره، تصویر در اندازه کامل را ببینید.
| بسته مدل | شکل ورودی | نوع داده | کارت های مدل | نسخه ها |
|---|---|---|---|---|
| FaceLandmarker | تشخیص چهره: ۱۹۲×۱۹۲ FaceMesh-V2: 256 x 256 شکل ترکیبی: 1 × 146 × 2 | شناور 16 | تشخیص چهره FaceMesh-V2 ترکیب شکل | آخرین |