המשימה MediaPipe Pose Landerer מאפשרת לכם לזהות ציוני דרך של גופות אדם בתמונה או וידאו. אפשר להשתמש במשימה הזאת כדי לזהות מיקומים עיקריים של הגוף, לנתח את התנוחה ולסווג תנועות. המשימה הזו משתמשת במודלים של למידת מכונה (ML) פועלות עם תמונות בודדות או סרטונים בודדים. במשימה נוצרת ציוני דרך בתמונה של תנוחת הגוף ובקואורדינטות תלת ממדיות בעולם.
תחילת העבודה
כדי להתחיל להשתמש במשימה הזו, צריך לפעול לפי השלבים במדריך ההטמעה של פלטפורמת היעד. המדריכים האלה, שספציפיים לפלטפורמה, ידריכו אותך של המשימה, כולל מודל מומלץ ודוגמה לקוד עם אפשרויות הגדרה מומלצות:
- Android – קוד לדוגמה – מדריך
- Python – דוגמה לקוד – מדריך
- אינטרנט – קוד לדוגמה – מדריך
פרטי המשימה
בקטע הזה מתוארים היכולות, הקלט, הפלט וההגדרות האישיות לביצוע המשימה הזו.
תכונות
- עיבוד תמונות קלט – העיבוד כולל סיבוב תמונות, שינוי גודל, נירמול והמרה של מרחב צבעים.
- סף הציון – סינון התוצאות על סמך ציוני החיזויים.
| קלט למשימות | הפלט של המשימות |
|---|---|
ה-Pose Lander מקבל קלט של אחד מסוגי הנתונים הבאים:
|
הפלט הבא של המיקום צריך להיות פלט של התוצאות הבאות:
|
אפשרויות הגדרות אישיות
המשימה הזו כוללת את אפשרויות ההגדרה הבאות:
| שם האפשרות | תיאור | טווח ערכים | ערך ברירת מחדל |
|---|---|---|---|
running_mode |
מגדיר את מצב הריצה של המשימה. יש שלושה סוגים
מצבים: IMAGE: המצב לקלט של תמונה יחידה. סרטון: המצב של פריימים מפוענחים בסרטון. LIVE_STREAM: המצב לשידור חי של קלט נתונים ממצלמה, במצב הזה, resultListener חייב להיות נשלחה קריאה כדי להגדיר אוזן כדי לקבל תוצאות באופן אסינכרוני. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
המספר המקסימלי של תנוחות שהמערכת יכולה לזהות פוזה ציון דרך. | Integer > 0 |
1 |
min_pose_detection_confidence |
ציון הסמך המינימלי שצריך להיות לזיהוי התנוחה נחשב למוצלח. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
ציון הסמך המינימלי של הנוכחות בתנוחת הפוקוס בזיהוי התנוחה של ציון הדרך. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
ציון הסמך המינימלי למעקב אחרי התנוחה כדי להיחשב כהצלחה. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
האם הפתרון של Pose srcer מפיק מסיכת פילוח עבור של התנוחה. | Boolean |
False |
result_callback |
מגדיר את אוזן התוצאות לקבל את תוצאות ה- במעקב
באופן אסינכרוני כש-Pose Lander נמצא במצב שידור חי.
אפשר להשתמש באפשרות הזו רק כשמצב הריצה מוגדר ל-LIVE_STREAM |
ResultListener |
N/A |
דגמים
ה-Pose Lander משתמש בסדרת מודלים כדי לחזות ציוני דרך מסוימים. הראשון מזהה קיום של גופות אדם בתוך מסגרת של תמונה, מאתר ציוני דרך על הגופים.
המודלים הבאים נארזים בחבילה של מודלים שניתנים להורדה:
- מודל זיהוי תנוחה: מזהה את הנוכחות של גופות עם כמה תנוחת מפתח של ציוני דרך.
- מציבים את מודל ה-Lamarker: הוספת מיפוי מלא של התנוחה. המודל מפיק הערכה של 33 ציוני דרך תלת-ממדיים.
החבילה הזו משתמשת ברשת עצבית מתקפלת בדומה ל-MobileNetV2 ועבר אופטימיזציה לאפליקציות כושר בזמן אמת במכשיר. הווריאנט הזה מודל BlazePose משתמש GHUM, צינור עיבוד נתונים תלת-ממדי של צורות אנושיות, כדי להעריך את תנוחת הגוף המלאה בתלת-ממד נפרדים בתמונות או בסרטונים.
| חבילת דגם | צורת הקלט | סוג הנתונים | כרטיסי דגם | גרסאות |
|---|---|---|---|---|
| ציון הדרך של מיקום (lite) | מזהה מיקום: 224 x 224 x 3 סמל של מיקום: 256 x 256 x 3 |
מספר ממשי (float) 16 | מידע | הכי עדכני |
| ציוני דרך של עמדות (מלא) | מזהה תנוחה: 224 x 224 x 3 סמל של מיקום: 256 x 256 x 3 |
מספר ממשי (float) 16 | מידע | הכי עדכני |
| צלם נקודתי (כבד) | מזהה תנוחה: 224 x 224 x 3 סמל של מיקום: 256 x 256 x 3 |
מספר ממשי (float) 16 | מידע | הכי עדכני |
צילום מודל של ARIA
מודל ה-possעדיף עוקב אחרי 33 מיקומי גוף מפורסמים, שמייצגים את המיקום המשוער של חלקי הגוף הבאים:
פלט המודל מכיל גם קואורדינטות מנורמלות (Landmarks) וגם העולם
(WorldLandmarks) של כל ציון דרך.