MediaPipe Face Transcribeer टास्क की मदद से, इमेज और वीडियो में चेहरे के लैंडमार्क और चेहरे के हाव-भाव का पता लगाया जा सकता है. इस टास्क का इस्तेमाल, इंसान के चेहरे के हाव-भाव की पहचान करने, चेहरे पर फ़िल्टर और इफ़ेक्ट डालने, और वर्चुअल अवतार बनाने के लिए किया जा सकता है. यह टास्क, मशीन लर्निंग (एमएल) मॉडल का इस्तेमाल करता है. यह मॉडल एक इमेज या लगातार स्ट्रीम की जा सकने वाली इमेज के साथ काम कर सकता है. इस टास्क में, 3-डाइमेंशन वाले चेहरे के लैंडमार्क, ब्लेंडशेप स्कोर (चेहरे के हाव-भाव को दिखाने वाले गुणांक), रीयल-टाइम में चेहरे की पूरी जानकारी का पता लगाने के लिए, ट्रांसफ़ॉर्मेशन मैट्रिक्स दिए जाते हैं. इसके अलावा, इफ़ेक्ट रेंडरिंग के लिए ज़रूरी ट्रांसफ़ॉर्मेशन के तरीकों के बारे में भी बताया जाता है.
शुरू करें
अपने टारगेट प्लैटफ़ॉर्म के लिए, इनमें से किसी एक गाइड का पालन करके इस टास्क का इस्तेमाल शुरू करें. इन प्लैटफ़ॉर्म की गाइड में, इस टास्क को लागू करने की बुनियादी जानकारी दी जाती है. इसमें, सुझाए गए मॉडल और सुझाए गए कॉन्फ़िगरेशन विकल्पों के साथ कोड के उदाहरण भी शामिल होते हैं:
- Android - कोड का उदाहरण - गाइड
- Python - कोड का उदाहरण - गाइड
- वेब - कोड का उदाहरण - गाइड
टास्क की जानकारी
इस सेक्शन में इस टास्क की क्षमताओं, इनपुट, आउटपुट, और कॉन्फ़िगरेशन के विकल्पों के बारे में बताया गया है.
सुविधाएं
- इनपुट इमेज प्रोसेसिंग - प्रोसेसिंग में, इमेज को घुमाना, उसका साइज़ बदलना, उसे नॉर्मलाइज़ेशन, और कलर स्पेस में बदलाव करना शामिल होता है.
- स्कोर थ्रेशोल्ड - अनुमान के स्कोर के आधार पर नतीजों को फ़िल्टर करें.
| टास्क के इनपुट | टास्क के आउटपुट |
|---|---|
फ़ेस लैंडमार्कर, इनमें से किसी एक तरह के डेटा के इनपुट को स्वीकार करता है:
|
फ़ेस लैंडमार्कर से मिलने वाले नतीजे:
|
कॉन्फ़िगरेशन के विकल्प
इस टास्क में कॉन्फ़िगरेशन के ये विकल्प हैं:
| विकल्प का नाम | ब्यौरा | वैल्यू रेंज | डिफ़ॉल्ट मान |
|---|---|---|---|
running_mode |
टास्क के लिए, रनिंग मोड सेट करता है. इसके तीन मोड होते हैं: इमेज: सिंगल इमेज इनपुट के लिए मोड. वीडियो: वीडियो के डिकोड किए गए फ़्रेम का मोड. LIVE_STREAM: इनपुट डेटा की लाइव स्ट्रीम का मोड, जैसे कि कैमरे से स्ट्रीम किया जाने वाला मोड. इस मोड में, रिज़ल्ट पहचानकर्ता को लिसनर को सेट अप करने के लिए कॉल किया जाना चाहिए, ताकि वह एसिंक्रोनस तरीके से नतीजे पा सके. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
FaceLandmarker की मदद से, ज़्यादा से ज़्यादा कितने चेहरों का पता लगाया जा सकता है. स्मूदिंग सिर्फ़ तब लागू होती है, जब
num_faces को 1 पर सेट किया गया हो.
|
Integer > 0 |
1 |
min_face_detection_confidence |
चेहरे की पहचान करने के लिए सबसे कम कॉन्फ़िडेंस स्कोर, जिसे कामयाब माना जाता है. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
फ़ेस लैंडमार्क की पहचान करने में, चेहरे की मौजूदगी का पता लगाने के लिए सबसे कम कॉन्फ़िडेंस स्कोर. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
चेहरे को ट्रैक करने की सुविधा के लिए, सबसे कम कॉन्फ़िडेंस स्कोर की मदद से पुष्टि की जाती है. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
फ़ेस लैंडमार्कर, ब्लेंड शेप को आउटपुट करता है या नहीं. चेहरे के ब्लेंडशेप का इस्तेमाल, 3D चेहरे के मॉडल को रेंडर करने के लिए किया जाता है. | Boolean |
False |
output_facial_transformation_matrixes |
FaceLandमार्कर, चेहरे के ट्रांसफ़ॉर्मेशन मैट्रिक्स को दिखाता है या नहीं. FaceLandमार्कर, चेहरे के लैंडमार्क को कैननिकल चेहरे के मॉडल से पहचाने गए चेहरे में बदलने के लिए, मैट्रिक्स का इस्तेमाल करता है. इससे उपयोगकर्ता, पहचाने गए लैंडमार्क पर इफ़ेक्ट लागू कर सकते हैं. | Boolean |
False |
result_callback |
जब FaceLandमार्कर लाइव स्ट्रीम मोड में हो, तब यह सुविधा लैंडमार्क के नतीजों को एसिंक्रोनस तरीके से पाने के लिए, नतीजे की पहचान करने वाली सुविधा को सेट करती है.
सिर्फ़ तब इस्तेमाल किया जा सकता है, जब रनिंग मोड LIVE_STREAM पर सेट हो |
ResultListener |
N/A |
मॉडल
फ़ेस लैंडमार्कर चेहरे के लैंडमार्क का अनुमान लगाने के लिए, कई मॉडल का इस्तेमाल करता है. पहला मॉडल चेहरों की पहचान करता है और दूसरा मॉडल, पहचाने गए चेहरों की पहचान करता है. वहीं, तीसरा मॉडल चेहरे के हाव-भाव और हाव-भाव की पहचान करने के लिए, उन लैंडमार्क का इस्तेमाल करता है.
यहां दिए गए मॉडल, डाउनलोड किए जा सकने वाले मॉडल बंडल में एक साथ पैक किए गए हैं:
- चेहरे की पहचान करने वाला मॉडल: चेहरे की कुछ खास पहचानों के ज़रिए, चेहरों की मौजूदगी का पता लगाता है.
- फ़ेस मेश मॉडल: चेहरे की पूरी मैपिंग जोड़ता है. यह मॉडल, 478 तीन डाइमेंशन वाले फ़ेस लैंडमार्क का अनुमान दिखाता है.
- ब्लेंड शेप अनुमान मॉडल: चेहरे के मेश मॉडल से आउटपुट पाने के लिए, ब्लेंड शेप के 52 स्कोर का अनुमान लगाया जाता है. ये गुणांक, चेहरे के अलग-अलग हाव-भाव को दिखाने वाले गुणांक होते हैं.
चेहरे की पहचान करने वाला मॉडल, BlazeFace का कम रेंज वाला मॉडल है. यह मोबाइल के जीपीयू अनुमान के लिए ऑप्टिमाइज़ किया गया, चेहरे की पहचान करने वाला लाइटवेट और सटीक मॉडल है. ज़्यादा जानकारी के लिए, फ़ेस डिटेक्टर टास्क देखें.
नीचे दी गई इमेज में, मॉडल बंडल आउटपुट से चेहरे के लैंडमार्क को पूरी तरह मैप किया गया है.
चेहरे पर मौजूद लैंडमार्क के बारे में ज़्यादा जानकारी के लिए, फ़ुल साइज़ की इमेज देखें.
| मॉडल बंडल | इनपुट का आकार | डेटा टाइप | मॉडल कार्ड | वर्शन |
|---|---|---|---|---|
| FaceLandmarker | फ़ेस डिटेक्टर: 192 x 192 FaceMesh-V2: 256 x 256 ब्लेंडशेप: 1 x 146 x 2 |
फ़्लोट 16 |
FaceDetector FaceMesh-V2 ब्लेंडशेप |
नए |