המשימה 'ציון דרך של MediaPipe' מאפשרת לכם לזהות את ציוני הדרך של הידיים בתמונה. ניתן לך להשתמש במשימה הזו כדי לאתר נקודות עיקריות של פעולה ולעבד אפקטים חזותיים בהן. המשימה הזו פועלת על נתוני תמונה באמצעות מודל של למידת מכונה (ML) כנתונים סטטיים או רצף רציף, ומפיק פלט של ציוני דרך ידניים בקואורדינטות של תמונות, ציוני דרך בעולם וביד ימין(משמאל/ימין) של מספר ידיים שזוהו.
מתחילים
כדי להתחיל להשתמש במשימה הזו, כדאי לפעול לפי אחד ממדריכי ההטמעה האלה בהתאם לפלטפורמת היעד. במדריכים הבאים שספציפיים לפלטפורמה תמצאו הנחיות איך לבצע הטמעה בסיסית של המשימה הזו, כולל מודל מומלץ ודוגמה לקוד עם אפשרויות הגדרה מומלצות:
- Android – דוגמה לקוד – מדריך
- Python – דוגמה לקוד – מדריך
- אינטרנט - דוגמה לקוד – מדריך
פרטי המשימה
בקטע הזה מתוארות היכולות, הקלט, הפלט ואפשרויות ההגדרה של המשימה הזו.
תכונות
- עיבוד תמונות קלט – העיבוד כולל סיבוב תמונות, שינוי גודל, נירמול והמרת מרחב צבעים.
- סף הציון – סינון התוצאות לפי ציוני התחזית.
| קלט למשימות | פלט המשימות |
|---|---|
ה-Handhander מקבל קלט של אחד מסוגי הנתונים הבאים:
|
פותר הבעיות בציון ידני מפיק את התוצאות הבאות:
|
אפשרויות של הגדרות אישיות
במשימה הזאת קיימות אפשרויות ההגדרה הבאות:
| שם האפשרות | תיאור | טווח ערכים | ערך ברירת מחדל |
|---|---|---|---|
running_mode |
מגדיר את מצב הריצה של המשימה. יש שלושה
מצבים: IMAGE: המצב שבו ניתן להזין תמונה יחידה. וידאו: המצב של פריימים מפוענחים של סרטון. LIVE_STREAM: המצב עבור סטרימינג בשידור חי של נתוני קלט, למשל ממצלמה. במצב הזה, יש להפעיל את resultListener כדי להגדיר מאזין לקבלת תוצאות באופן אסינכרוני. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_hands |
מספר הידיים המקסימלי שזוהה על ידי מזהה המקום של Hand. | Any integer > 0 |
1 |
min_hand_detection_confidence |
ציון המהימנות המינימלי שזיהוי היד ייחשב כמוצלח במודל של זיהוי כף היד. | 0.0 - 1.0 |
0.5 |
min_hand_presence_confidence |
ציון המהימנות המינימלי של ציון הנוכחות של היד במודל הזיהוי של ציון הדרך. במצב וידאו ובמצב שידור חי, אם דירוג המהימנות של הנוכחות של היד של המודל של ציון הדרך במכשיר נמוך מהסף הזה, ה-hand המצבer מפעיל את המודל לזיהוי כף היד. אחרת, נעשה שימוש באלגוריתם קליל למעקב אחר הידיים כדי לקבוע את המיקום של הידיים כדי לזהות ציוני דרך עתידיים. | 0.0 - 1.0 |
0.5 |
min_tracking_confidence |
ציון הסמך המינימלי שצריך לעמוד בו כדי שהמעקב אחרי היד ייחשבו בהצלחה. זהו סף ה-IoU של התיבה התוחמת בין הידיים במסגרת הנוכחית לפריים האחרון. במצב וידאו ובמצב 'סטרימינג' של Hand שבהמשך יהיה, אם המעקב ייכשל, ה-Handhander יפעיל את זיהוי היד. אחרת, יתבצע דילוג על זיהוי היד. | 0.0 - 1.0 |
0.5 |
result_callback |
מגדיר את הכלי להאזנה לתוצאות כך שיקבל את תוצאות הזיהוי באופן אסינכרוני כאשר ה-placeholder של היד נמצא במצב שידור חי.
רלוונטי רק כשמצב ריצה מוגדר ל-LIVE_STREAM |
לא רלוונטי | לא רלוונטי |
דגמים
כלי לציון ביד משתמש בחבילה של דגמים עם שני דגמים ארוזים: מודל זיהוי כף היד ומודל זיהוי ציוני דרך ביד. כדי להפעיל את המשימה הזו נדרשת חבילת מודלים שכוללת את שני המודלים האלה.
| שם הדגם | צורת הקלט | סוג הכמות | כרטיס דגם | גרסאות |
|---|---|---|---|---|
| סמן ידני (מלא) | 192 x 192, 224 x 224 | מספר ממשי (float) 16 | מידע | האחרון |
חבילת המודלים של נקודת האחיזה ביד מזהה את הלוקליזציה של 21 קואורדינטות של כף היד באזורי היד שזוהו. המודל אומן את המודל על כ-30,000 תמונות מציאותיות, וגם על כמה מודלים של ידיים סינתטיות שעברו רינדור, ונמצאים על רקעים שונים.
חבילת המודלים של כלי הסימון ביד מכילה מודל לזיהוי כף היד ומודל זיהוי של ציוני דרך בכף היד. מודל זיהוי הכף היד מאתר את הידיים בתמונת הקלט, ומודל הזיהוי של ציוני דרך של ידיים מזהה סימנים ספציפיים של יד בתמונה החתוכה שהוגדרה על ידי מודל זיהוי כף היד.
מאחר שהפעלת מודל זיהוי כף היד דורשת זמן, במצב וידאו או בשידור חי Handhander מפעיל מחדש את מודל זיהוי כף היד רק אם המודל של סימן הדרך בכף היד כבר לא מזהה את הנוכחות של ידיים או לא מצליח לעקוב אחרי הידיים בתוך המסגרת. כך מפחיתים את מספר הפעמים ש-Hand Discoverer מפעיל את מודל זיהוי כף היד.
נקודות השוואה למשימות
אלה נקודות ההשוואה למשימות לגבי כל צינור עיבוד הנתונים, בהתבסס על המודלים שהוכשרו מראש למעלה. זמן האחזור הוא זמן האחזור הממוצע ב-Pixel 6 כשמשתמשים במעבד (CPU) או ב-GPU.
| שם דגם | זמן אחזור של המעבד (CPU) | זמן אחזור של GPU |
|---|---|---|
| סמן ידני (מלא) | 17.12 אלפיות השנייה | 12.27 אלפיות השנייה |