وظیفه MediaPipe Face Landmarker به شما امکان میدهد نشانههای چهره و حالات چهره را در تصاویر و ویدیوها تشخیص دهید. میتوانید از این وظیفه برای شناسایی حالات چهره انسان، اعمال فیلترها و جلوههای چهره و ایجاد آواتارهای مجازی استفاده کنید. این وظیفه از مدلهای یادگیری ماشین (ML) استفاده میکند که میتوانند با تصاویر واحد یا جریان پیوستهای از تصاویر کار کنند. این وظیفه، نشانههای سهبعدی چهره، نمرات blendshape (ضرایب نشان دهنده حالات چهره) را برای استنباط سطوح دقیق چهره در زمان واقعی و ماتریسهای تبدیل را برای انجام تبدیلهای مورد نیاز برای رندر جلوهها، خروجی میدهد.
شروع کنید
با دنبال کردن یکی از راهنماهای پیادهسازی برای پلتفرم مورد نظر خود، استفاده از این وظیفه را شروع کنید. این راهنماهای مخصوص پلتفرم، شما را در پیادهسازی اولیه این وظیفه، شامل یک مدل پیشنهادی و نمونه کد با گزینههای پیکربندی پیشنهادی، راهنمایی میکنند:
جزئیات وظیفه
این بخش قابلیتها، ورودیها، خروجیها و گزینههای پیکربندی این وظیفه را شرح میدهد.
ویژگیها
- پردازش تصویر ورودی - پردازش شامل چرخش تصویر، تغییر اندازه، نرمالسازی و تبدیل فضای رنگ است.
- آستانه امتیاز - نتایج را بر اساس امتیازات پیشبینی فیلتر کنید.
| ورودیهای وظیفه | خروجیهای وظیفه |
|---|---|
نشانگر چهره، ورودی یکی از انواع دادههای زیر را میپذیرد:
| ابزار Face Landmarker نتایج زیر را ارائه میدهد:
|
گزینههای پیکربندی
این وظیفه گزینههای پیکربندی زیر را دارد:
| نام گزینه | توضیحات | محدوده ارزش | مقدار پیشفرض |
|---|---|---|---|
running_mode | حالت اجرا را برای وظیفه تنظیم میکند. سه حالت وجود دارد: تصویر: حالت ورودیهای تک تصویر. ویدئو: حالتی برای فریمهای رمزگشاییشدهی یک ویدئو. LIVE_STREAM: حالتی برای پخش زنده دادههای ورودی، مثلاً از یک دوربین. در این حالت، باید resultListener فراخوانی شود تا یک شنونده برای دریافت نتایج به صورت غیرهمزمان تنظیم شود. | { IMAGE, VIDEO, LIVE_STREAM } | IMAGE |
num_faces | حداکثر تعداد چهرههایی که میتوانند توسط FaceLandmarker شناسایی شوند. هموارسازی فقط زمانی اعمال میشود که num_faces روی ۱ تنظیم شده باشد. | Integer > 0 | 1 |
min_face_detection_confidence | حداقل امتیاز اطمینان برای تشخیص چهره که موفقیتآمیز تلقی شود. | Float [0.0,1.0] | 0.5 |
min_face_presence_confidence | حداقل امتیاز اطمینان از امتیاز حضور چهره در تشخیص نشانههای چهره. | Float [0.0,1.0] | 0.5 |
min_tracking_confidence | حداقل امتیاز اطمینان برای اینکه ردیابی چهره موفقیتآمیز تلقی شود. | Float [0.0,1.0] | 0.5 |
output_face_blendshapes | آیا خروجی Face Landmarker ترکیبی از شکلهای چهره است یا خیر. شکلهای ترکیبی چهره برای رندر مدل سهبعدی چهره استفاده میشوند. | Boolean | False |
output_facial_transformation_matrixes | اینکه آیا FaceLandmarker ماتریس تبدیل چهره را خروجی میدهد یا خیر. FaceLandmarker از این ماتریس برای تبدیل نشانههای چهره از یک مدل چهره استاندارد به چهره شناسایی شده استفاده میکند، بنابراین کاربران میتوانند جلوههایی را روی نشانههای شناسایی شده اعمال کنند. | Boolean | False |
result_callback | شنونده نتیجه را طوری تنظیم میکند که وقتی FaceLandmarker در حالت پخش زنده است، نتایج نشانگر را به صورت غیرهمزمان دریافت کند. فقط زمانی قابل استفاده است که حالت اجرا روی LIVE_STREAM تنظیم شده باشد. | ResultListener | N/A |
مدلها
ابزار Face Landmarker از مجموعهای از مدلها برای پیشبینی نشانههای چهره استفاده میکند. مدل اول چهرهها را تشخیص میدهد، مدل دوم نشانههای روی چهرههای شناساییشده را پیدا میکند و مدل سوم از آن نشانهها برای شناسایی ویژگیها و حالات چهره استفاده میکند.
مدلهای زیر در یک بسته مدل قابل دانلود، گردآوری شدهاند:
- مدل تشخیص چهره : حضور چهرهها را با چند نشانه کلیدی چهره تشخیص میدهد.
- مدل مش چهره : نقشهبرداری کاملی از چهره اضافه میکند. این مدل تخمینی از ۴۷۸ نقطه عطف سهبعدی چهره را ارائه میدهد.
- مدل پیشبینی Blendshape : خروجی را از مدل مش چهره دریافت میکند و ۵۲ امتیاز blendshape را پیشبینی میکند که ضرایبی هستند که حالتهای مختلف چهره را نشان میدهند.
مدل تشخیص چهره، مدل برد کوتاه BlazeFace است، یک آشکارساز چهره سبک و دقیق که برای استنتاج GPU موبایل بهینه شده است. برای اطلاعات بیشتر، به وظیفه آشکارساز چهره مراجعه کنید.
تصویر زیر نقشهبرداری کاملی از نشانههای چهره از خروجی بسته مدل را نشان میدهد.
برای مشاهده جزئیات بیشتر از نشانههای چهره، به تصویر در اندازه کامل مراجعه کنید.
| بسته مدل | شکل ورودی | نوع داده | کارتهای مدل | نسخهها |
|---|---|---|---|---|
| فیسلندمارکر | آشکارساز چهره: ۱۹۲ در ۱۹۲ فیسمش-وی۲: ۲۵۶ در ۲۵۶ شکل ترکیبی: ۱ × ۱۴۶ × ۲ | شناور ۱۶ | آشکارساز چهره فیسمِش-وی۲ شکل ترکیبی | جدیدترینها |