המשימה 'MediaPipe Pose Scoreer' מאפשרת לזהות ציוני דרך של גופות אנושיות בתמונה או בסרטון. אפשר להשתמש במשימה כדי לזהות מיקומים מרכזיים בגוף, לנתח את היציבה ולסווג תנועות. במשימה הזו נעשה שימוש במודלים של למידת מכונה (ML) שעובדים עם תמונות או סרטונים בודדים. הפלט של המשימה מהגוף מייצג ציוני דרך בקואורדינטות של תמונה ובקואורדינטות בעולם תלת-ממדי.
מתחילים
כדי להתחיל להשתמש במשימה הזו, מומלץ לפעול לפי מדריך ההטמעה הרלוונטי לפלטפורמת היעד. במדריכים הבאים שספציפיים לפלטפורמה תמצאו הנחיות איך לבצע הטמעה בסיסית של המשימה הזו, כולל מודל מומלץ ודוגמה לקוד עם אפשרויות הגדרה מומלצות:
- Android – דוגמה לקוד – מדריך
- Python – דוגמה לקוד – מדריך
- אינטרנט - דוגמה לקוד – מדריך
פרטי המשימה
בקטע הזה מתוארות היכולות, הקלט, הפלט ואפשרויות ההגדרה של המשימה הזו.
תכונות
- עיבוד תמונות קלט – העיבוד כולל סיבוב תמונות, שינוי גודל, נירמול והמרת מרחב צבעים.
- סף הציון – סינון התוצאות לפי ציוני התחזית.
| קלט למשימות | פלט המשימות |
|---|---|
Pose Lander מקבל קלט של אחד מסוגי הנתונים הבאים:
|
הפלט הבא של Pose Looker:
|
אפשרויות של הגדרות אישיות
במשימה הזאת קיימות אפשרויות ההגדרה הבאות:
| שם האפשרות | תיאור | טווח ערכים | ערך ברירת מחדל |
|---|---|---|---|
running_mode |
מגדיר את מצב הריצה של המשימה. יש שלושה
מצבים: IMAGE: המצב שבו ניתן להזין תמונה יחידה. וידאו: המצב של פריימים מפוענחים של סרטון. LIVE_STREAM: המצב עבור סטרימינג בשידור חי של נתוני קלט, למשל ממצלמה. במצב הזה, יש להפעיל את resultListener כדי להגדיר מאזין לקבלת תוצאות באופן אסינכרוני. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
המספר המקסימלי של תנוחות ש-Pose Scoreer יכול לזהות. | Integer > 0 |
1 |
min_pose_detection_confidence |
ציון המהימנות המינימלי שזיהוי התנוחה ייחשב כמוצלח. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
ציון המהימנות המינימלי של ציון הנוכחות לתנוחה בזיהוי מיקום התנוחה. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
ציון הסמך המינימלי שצריך לעמוד בו כדי לעקוב אחרי התנוחה כדי להיחשב בהצלחה. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
האם Pose לעשות פלט של מסכת פילוח לתנוחה שזוהתה. | Boolean |
False |
result_callback |
מגדיר את ה-listener כך שיקבל את התוצאות של ציוני הדרך
באופן אסינכרוני כש-Pose landmarker נמצא במצב שידור חי.
אפשר להשתמש רק כשמצב ריצה מוגדר ל-LIVE_STREAM |
ResultListener |
N/A |
דגמים
ה-Pose Discoverer משתמש בסדרה של מודלים כדי לחזות את ציוני הדרך של התנוחה. המודל הראשון מזהה אם יש גופות אנושיות בתוך מסגרת תמונה, והמודל השני מאתר ציוני דרך על הגופות.
המודלים הבאים ארוזים יחד בחבילת מודלים ניתנת להורדה:
- מודל זיהוי תנוחה: מזהה נוכחות של גופות בכמה תנוחות בולטות.
- המודל 'Pose שמתקבלות': מוסיף מיפוי מלא של התנוחה. המודל מפיק אומדן של 33 ציוני דרך בתנוחות תלת ממדיות.
בחבילה הזו נעשה שימוש ברשת עצבית מתקפלת שדומה ל-MobileNetV2 ומותאמת לאפליקציות כושר בזמן אמת במכשיר. הווריאנט הזה של המודל BlazePose משתמש ב-GHUM, צינור עיבוד נתונים ליצירת מודלים תלת-ממדיים של צורות אנושיות, כדי להעריך את התנוחה המלאה של הדמות בתלת-ממד בתמונות או בסרטונים.
| חבילת דגמים | צורת הקלט | סוג הנתונים | קלפי דגמים | גרסאות |
|---|---|---|---|---|
| Pose landmarker (גרסת Lite) | מזהה תנוחה: 224 x 224 x 3 סמן מיקום: 256 x 256 x 3 |
מספר ממשי (float) 16 | מידע | האחרון |
| Pose scoreer (מלא) | מזהה תנוחה: 224 x 224 x 3 סמן מיקום: 256 x 256 x 3 |
מספר ממשי (float) 16 | מידע | האחרון |
| דמות תיירותית של תנוחת מיקום (עומס כבד) | מזהה תנוחה: 224 x 224 x 3 סמן מיקום: 256 x 256 x 3 |
מספר ממשי (float) 16 | מידע | האחרון |
מודל מקודד-מפענח
מודל כלי ה-מיקום של ה-POS עוקב אחר 33 מיקומים של ציוני דרך בגוף, שמייצגים את המיקום המשוער של חלקי הגוף הבאים:
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
הפלט של המודל מכיל קואורדינטות מנורמלות (Landmarks) וקואורדינטות עולמיות (WorldLandmarks) לכל ציון דרך.