מדריך לזיהוי של ציוני דרך

המשימה MediaPipe Pose Landerer מאפשרת לכם לזהות ציוני דרך של גופות אדם בתמונה או וידאו. אפשר להשתמש במשימה הזאת כדי לזהות מיקומים עיקריים של הגוף, לנתח את התנוחה ולסווג תנועות. המשימה הזו משתמשת במודלים של למידת מכונה (ML) פועלות עם תמונות בודדות או סרטונים בודדים. במשימה נוצרת ציוני דרך בתמונה של תנוחת הגוף ובקואורדינטות תלת ממדיות בעולם.

רוצה לנסות?

תחילת העבודה

כדי להתחיל להשתמש במשימה הזו, צריך לפעול לפי השלבים במדריך ההטמעה של פלטפורמת היעד. המדריכים האלה, שספציפיים לפלטפורמה, ידריכו אותך של המשימה, כולל מודל מומלץ ודוגמה לקוד עם אפשרויות הגדרה מומלצות:

פרטי המשימה

בקטע הזה מתוארים היכולות, הקלט, הפלט וההגדרות האישיות לביצוע המשימה הזו.

תכונות

  • עיבוד תמונות קלט – העיבוד כולל סיבוב תמונות, שינוי גודל, נירמול והמרה של מרחב צבעים.
  • סף הציון – סינון התוצאות על סמך ציוני החיזויים.
קלט למשימות הפלט של המשימות
ה-Pose Lander מקבל קלט של אחד מסוגי הנתונים הבאים:
  • תמונות סטילס
  • פריימים מפוענחים של הווידאו
  • פיד של וידאו בשידור חי
 הפלט הבא של המיקום צריך להיות פלט של התוצאות הבאות:
  • מציבים ציוני דרך בקואורדינטות של תמונה מנורמלת
  • מציבים ציוני דרך בקואורדינטות בעולם
  • אופציונלי: מסכת פילוח לתנוחה.

אפשרויות הגדרות אישיות

המשימה הזו כוללת את אפשרויות ההגדרה הבאות:

שם האפשרות תיאור טווח ערכים ערך ברירת מחדל
running_mode מגדיר את מצב הריצה של המשימה. יש שלושה סוגים מצבים:

IMAGE: המצב לקלט של תמונה יחידה.

סרטון: המצב של פריימים מפוענחים בסרטון.

LIVE_STREAM: המצב לשידור חי של קלט נתונים ממצלמה, במצב הזה, resultListener חייב להיות נשלחה קריאה כדי להגדיר אוזן כדי לקבל תוצאות באופן אסינכרוני. 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses המספר המקסימלי של תנוחות שהמערכת יכולה לזהות תנו לציוני דרך. Integer > 0 1
min_pose_detection_confidence ציון הסמך המינימלי שצריך להיות לזיהוי התנוחה נחשב למוצלח. Float [0.0,1.0] 0.5
min_pose_presence_confidence ציון הסמך המינימלי של הנוכחות בתנוחת הפוקוס בזיהוי התנוחה של ציון הדרך. Float [0.0,1.0] 0.5
min_tracking_confidence ציון הסמך המינימלי למעקב אחרי התנוחה כדי להיחשב כהצלחה. Float [0.0,1.0] 0.5
output_segmentation_masks האם Pose srcer מפיק מסיכת פילוח עבור של התנוחה. Boolean False
result_callback מגדיר את אוזן התוצאות לקבל את תוצאות ה- במעקב באופן אסינכרוני כש-Pose Lander נמצא במצב שידור חי. אפשר להשתמש באפשרות הזו רק כשמצב הריצה מוגדר ל-LIVE_STREAM ResultListener N/A

דגמים

ה-Pose Lander משתמש בסדרת מודלים כדי לחזות ציוני דרך מסוימים. הראשון מזהה קיום של גופות אדם בתוך מסגרת של תמונה, מאתר ציוני דרך על הגופים.

המודלים הבאים נארזים בחבילה של מודלים שניתנים להורדה:

  • מודל זיהוי תנוחה: מזהה את הנוכחות של גופות עם כמה תנוחת מפתח של ציוני דרך.
  • מציבים את מודל ה-Lamarker: הוספת מיפוי מלא של התנוחה. המודל מפיק הערכה של 33 ציוני דרך תלת-ממדיים.

החבילה הזו משתמשת ברשת עצבית מתקפלת בדומה ל-MobileNetV2 ועבר אופטימיזציה לאפליקציות כושר בזמן אמת במכשיר. הווריאנט הזה מודל BlazePose משתמש GHUM, צינור עיבוד נתונים תלת-ממדי של צורות אנושיות, כדי להעריך את תנוחת הגוף המלאה בתלת-ממד נפרדים בתמונות או בסרטונים.

חבילת דגם צורת הקלט סוג הנתונים כרטיסי דגם גרסאות
ציון הדרך של מיקום (lite) מזהה מיקום: 224 x 224 x 3
סמל של מיקום: 256 x 256 x 3 		מספר ממשי (float) 16 מידע הכי עדכני
ציוני דרך של עמדות (מלא) מזהה מיקום: 224 x 224 x 3
סמל של מיקום: 256 x 256 x 3 		מספר ממשי (float) 16 מידע הכי עדכני
תנוחת ציון (כבד) מזהה מיקום: 224 x 224 x 3
סמל של מיקום: 256 x 256 x 3 		מספר ממשי (float) 16 מידע הכי עדכני

צילום מודל של ARIA

מודל ה-possעדיף עוקב אחרי 33 מיקומי גוף מפורסמים, שמייצגים את המיקום המשוער של חלקי הגוף הבאים:

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index

פלט המודל מכיל גם קואורדינטות מנורמלות (Landmarks) וגם העולם את הקואורדינטות (WorldLandmarks) של כל ציון דרך.