MediaPipe Pose लैंडमार्क टास्क की मदद से, किसी इमेज या वीडियो में मानव शरीर की लैंडमार्क का पता लगाया जा सकता है. इस टास्क का इस्तेमाल, शरीर के मुख्य जगहों की पहचान करने, पॉस्चर का विश्लेषण करने, और शरीर की गतिविधियों को कैटगरी में बांटने के लिए किया जा सकता है. यह टास्क मशीन लर्निंग (एमएल) मॉडल का इस्तेमाल करता है, जो एक इमेज या वीडियो के साथ काम करता है. इस टास्क में, इमेज को निर्देशांकों और 3-डाइमेंशन वाले दुनिया के निर्देशांकों में शरीर की जगहों को दिखाने की सुविधा मिलती है.
शुरू करें
अपने टारगेट प्लैटफ़ॉर्म के इस्तेमाल की गाइड में दिए गए निर्देशों का पालन करके, इस टास्क का इस्तेमाल शुरू करें. इन प्लैटफ़ॉर्म की गाइड में, इस टास्क को लागू करने की बुनियादी जानकारी दी जाती है. इसमें, सुझाए गए मॉडल और सुझाए गए कॉन्फ़िगरेशन विकल्पों के साथ कोड के उदाहरण भी शामिल होते हैं:
- Android - कोड का उदाहरण - गाइड
- Python - कोड का उदाहरण - गाइड
- वेब - कोड का उदाहरण - गाइड
टास्क की जानकारी
इस सेक्शन में इस टास्क की क्षमताओं, इनपुट, आउटपुट, और कॉन्फ़िगरेशन के विकल्पों के बारे में बताया गया है.
सुविधाएं
- इनपुट इमेज प्रोसेसिंग - प्रोसेसिंग में, इमेज को घुमाना, उसका साइज़ बदलना, नॉर्मलाइज़ेशन, और कलर स्पेस में बदलाव करना शामिल है.
- स्कोर थ्रेशोल्ड - अनुमान के स्कोर के आधार पर नतीजों को फ़िल्टर करें.
| टास्क के इनपुट | टास्क के आउटपुट |
|---|---|
पोज़ लैंडमार्कर, इनमें से किसी एक तरह के डेटा के इनपुट को स्वीकार करता है:
|
पोज़ लैंडमार्कर में ये नतीजे मिलते हैं:
|
कॉन्फ़िगरेशन के विकल्प
इस टास्क में कॉन्फ़िगरेशन के ये विकल्प हैं:
| विकल्प का नाम | ब्यौरा | वैल्यू रेंज | डिफ़ॉल्ट मान |
|---|---|---|---|
running_mode |
टास्क के लिए, रनिंग मोड सेट करता है. इसके तीन मोड होते हैं: इमेज: सिंगल इमेज इनपुट के लिए मोड. वीडियो: वीडियो के डिकोड किए गए फ़्रेम का मोड. LIVE_STREAM: इनपुट डेटा की लाइव स्ट्रीम का मोड, जैसे कि कैमरे से स्ट्रीम किया जाने वाला मोड. इस मोड में, रिज़ल्ट पहचानकर्ता को लिसनर को सेट अप करने के लिए कॉल किया जाना चाहिए, ताकि वह एसिंक्रोनस तरीके से नतीजे पा सके. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
पोज़ लैंडमार्कर की मदद से, ज़्यादा से ज़्यादा कितनी मुद्राओं का पता लगाया जा सकता है. | Integer > 0 |
1 |
min_pose_detection_confidence |
पोज़ पहचान के लिए कम से कम कॉन्फ़िडेंस स्कोर को सफल माना जाएगा. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
पोज़ लैंडमार्क की पहचान में पोज़ वाली मौजूदगी के स्कोर का कम से कम कॉन्फ़िडेंस स्कोर. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
पोज़ ट्रैकिंग के लिए ज़रूरी सबसे कम कॉन्फ़िडेंस स्कोर. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
पोज़ लैंडमार्क में दिखाए गए पोज़ के लिए, सेगमेंटेशन मास्क दिखाएगा या नहीं. | Boolean |
False |
result_callback |
जब पोज़ लैंडमार्कर के लाइव स्ट्रीम मोड में होता है, तो यह सुविधा लैंडमार्क के नतीजों को एसिंक्रोनस तरीके से पाने के लिए, नतीजे लिसनर को सेट करती है.
सिर्फ़ तब इस्तेमाल किया जा सकता है, जब रनिंग मोड LIVE_STREAM पर सेट हो |
ResultListener |
N/A |
मॉडल
पोज़ लैंडमार्कर, आस-पास की जगहों का अनुमान लगाने के लिए कई मॉडल का इस्तेमाल करता है. पहला मॉडल, किसी इमेज फ़्रेम में इंसानी शरीर की पहचान करता है और दूसरा मॉडल, बॉडी पर लैंडमार्क खोजता है.
यहां दिए गए मॉडल, डाउनलोड किए जा सकने वाले मॉडल बंडल में एक साथ पैक किए गए हैं:
- पोज़ डिटेक्शन मॉडल: कुछ खास पोज़ वाले शरीर की मौजूदगी का पता लगाता है.
- पोज़ लैंडमार्कर मॉडल: इससे पोज़ की पूरी जानकारी मैप की जाती है. इस मॉडल में, 33 डाइमेंशन वाले पोज़ लैंडमार्क का अनुमान दिखाया जाता है.
यह बंडल MobileNetV2 की तरह ही एक कन्वलूशनल न्यूरल नेटवर्क का इस्तेमाल करता है. साथ ही, इसे डिवाइस पर मौजूद रीयल-टाइम फ़िटनेस ऐप्लिकेशन के लिए ऑप्टिमाइज़ किया गया है. BlazePose मॉडल का यह वैरिएंट GHUM का इस्तेमाल करता है, जो इंसानों के आकार की 3D पाइपलाइन है. इससे, इमेज या वीडियो में किसी व्यक्ति के पूरे 3D शरीर के पोज़ का अनुमान लगाया जाता है.
| मॉडल बंडल | इनपुट का आकार | डेटा टाइप | मॉडल कार्ड | वर्शन |
|---|---|---|---|---|
| लैंडमार्कर (लाइट) पोज़ करें | पोज़ डिटेक्टर: 224 x 224 x 3 पोज़ लैंडमार्कर: 256 x 256 x 3 |
फ़्लोट 16 | जानकारी | नए |
| लैंडमार्कर का इस्तेमाल करें (पूरा) | पोज़ डिटेक्टर: 224 x 224 x 3 पोज़ लैंडमार्कर: 256 x 256 x 3 |
फ़्लोट 16 | जानकारी | नए |
| लैंडमार्कर का इस्तेमाल करना (हैवी) | पोज़ डिटेक्टर: 224 x 224 x 3 पोज़ लैंडमार्कर: 256 x 256 x 3 |
फ़्लोट 16 | जानकारी | नए |
पोज़ लैंडमार्कर मॉडल
पोज़ लैंडमार्कर मॉडल में शरीर के लैंडमार्क की 33 जगहें ट्रैक की जाती हैं, जो शरीर के इन अंगों की अनुमानित जगह की जानकारी देते हैं:
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
मॉडल आउटपुट में हर लैंडमार्क के लिए, सामान्य निर्देशांक (Landmarks) और वर्ल्ड निर्देशांक (WorldLandmarks) दोनों होते हैं.