מדריך לזיהוי תנועות ל-Python

המשימה 'מזהה תנועות של MediaPipe' מאפשרת לזהות תנועות ידיים בזמן אמת, ומציגה תוצאות מוכרות של תנועות יד וציוני דרך של הידיים שזוהו. בהוראות האלה מוסבר איך להשתמש בכלי לזיהוי תנועות באפליקציות של Python.

אפשר לראות את המשימה הזו בפעולה בהדגמה באינטרנט. למידע נוסף על היכולות, המודלים ואפשרויות ההגדרה של המשימה הזו קראו את הסקירה הכללית.

קוד לדוגמה

הקוד לדוגמה לזיהוי תנועות מספק הטמעה מלאה של המשימה הזו ב-Python לעיונך. הקוד הזה עוזר לכם לבדוק את המשימה הזו ולהתחיל ליצור מזהה תנועות ידיים משלכם. אפשר להציג, להריץ ולערוך את הקוד לדוגמה של מזהה התנועות באמצעות דפדפן האינטרנט בלבד.

אם אתם מטמיעים את הכלי לזיהוי תנועות ב-Raspberry Pi, עיינו באפליקציה לדוגמה של Raspberry Pi.

הגדרה

בקטע הזה מתוארים שלבים עיקריים להגדרת סביבת הפיתוח ופרויקטים של קוד במיוחד לשימוש בזיהוי תנועות. למידע כללי על הגדרת סביבת הפיתוח לשימוש במשימות MediaPipe, כולל הדרישות לגרסת הפלטפורמה, קראו את מדריך ההגדרה של Python.

חבילות

המשימה 'מזהה תנועות של MediaPipe' דורשת את חבילת mediapipe PyPI. אפשר להתקין ולייבא את יחסי התלות האלה באמצעות הדברים הבאים:

$ python -m pip install mediapipe

יבוא

ניתן לייבא את המחלקות הבאות כדי לגשת לפונקציות המשימה של מזהה התנועות:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

מודל

למשימה של 'מזהה תנועות של MediaPipe' נדרשת חבילת מודלים שעברה הכשרה מתאימה, והיא תואמת למשימה הזו. למידע נוסף על המודלים הזמינים לשימוש בזיהוי תנועות, עיינו בסקירה הכללית של המשימות בקטע מודלים.

בוחרים את המודל ומורידים אותו, ולאחר מכן מאחסנים אותו בספרייה מקומית:

model_path = '/absolute/path/to/gesture_recognizer.task'

מציינים את הנתיב של המודל בתוך הפרמטר של שם המודל, באופן הבא:

base_options = BaseOptions(model_asset_path=model_path)

יצירת המשימה

המשימה 'מזהה תנועות של MediaPipe' משתמשת בפונקציה create_from_options כדי להגדיר את המשימה. הפונקציה create_from_options מקבלת ערכים לאפשרויות התצורה שצריך לטפל בהן. מידע נוסף על אפשרויות ההגדרה זמין במאמר אפשרויות תצורה.

הקוד הבא מדגים איך ליצור ולהגדיר את המשימה הזו.

בדוגמאות האלה אפשר לראות גם את הווריאציות של יצירת המשימה לתמונות, לקובצי וידאו ולסטרימינג בשידור חי.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
GestureRecognizer = mp.tasks.vision.GestureRecognizer
GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a gesture recognizer instance with the image mode:
options = GestureRecognizerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE)
with GestureRecognizer.create_from_options(options) as recognizer:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
GestureRecognizer = mp.tasks.vision.GestureRecognizer
GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a gesture recognizer instance with the video mode:
options = GestureRecognizerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO)
with GestureRecognizer.create_from_options(options) as recognizer:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
GestureRecognizer = mp.tasks.vision.GestureRecognizer
GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions
GestureRecognizerResult = mp.tasks.vision.GestureRecognizerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a gesture recognizer instance with the live stream mode:
def print_result(result: GestureRecognizerResult, output_image: mp.Image, timestamp_ms: int):
    print('gesture recognition result: {}'.format(result))

options = GestureRecognizerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)
with GestureRecognizer.create_from_options(options) as recognizer:
  # The detector is initialized. Use it here.
  # ...
    

אפשרויות הגדרה

במשימה הזאת קיימות אפשרויות ההגדרה הבאות לאפליקציות Python:

הכנת הנתונים

מכינים את הקלט כקובץ תמונה או כמערך numpy, ואז ממירים אותו לאובייקט mediapipe.Image. אם הקלט הוא קובץ וידאו או שידור חי ממצלמת אינטרנט, תוכלו להשתמש בספרייה חיצונית כמו OpenCV כדי לטעון את הפריימים של הקלט כמערכים מספריים.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

מריצים את המשימה.

מזהה התנועות משתמש בפונקציות זיהוי, זיהוי_for_video ו-identifier_async כדי להפעיל הסקנות. לצורך זיהוי תנועה, התהליך כולל עיבוד מראש של נתוני קלט, זיהוי ידיים בתמונה, זיהוי סימנים מסחריים וזיהוי תנועת היד מהציוני הדרך.

הקוד הבא מדגים איך מבצעים את העיבוד באמצעות מודל המשימה.

# Perform gesture recognition on the provided single image.
# The gesture recognizer must be created with the image mode.
gesture_recognition_result = recognizer.recognize(mp_image)
    

# Perform gesture recognition on the provided single image.
# The gesture recognizer must be created with the video mode.
gesture_recognition_result = recognizer.recognize_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform gesture recognition.
# The results are accessible via the `result_callback` provided in
# the `GestureRecognizerOptions` object.
# The gesture recognizer must be created with the live stream mode.
recognizer.recognize_async(mp_image, frame_timestamp_ms)
    

שימו לב לנקודות הבאות:

• כשמפעילים את התכונה במצב וידאו או בשידור חי, צריך גם לספק במשימת מזהה התנועות את חותמת הזמן של פריים הקלט.
• כשמפעילים את התמונה או את מודל הווידאו, המשימה של מזהה התנועות תחסום את ה-thread הנוכחי עד לסיום העיבוד של התמונה או של המסגרת שמזינים.
• כשמפעילים את התכונה במצב שידור חי, המשימה של מזהה התנועות לא חוסמת את השרשור הנוכחי, אלא מוחזרת מיד. בכל פעם שהוא יסיים לעבד פריים קלט, הוא יפעיל את מאזין התוצאות עם תוצאת הזיהוי. אם תתבצע קריאה לפונקציית הזיהוי כשהמשימה של מזהה התנועות עסוקה בעיבוד פריים אחר, המשימה תתעלם ממסגרת הקלט החדשה.

לקבלת דוגמה מלאה להפעלת מזהה תנועות בתמונה, עיינו בדוגמה לקוד.

טיפול בתוצאות והצגתן

מזהה התנועות יוצר אובייקט תוצאה של זיהוי תנועה בכל הרצה של זיהוי. אובייקט התוצאה מכיל ציוני דרך של ידיים בקואורדינטות של תמונות, ציוני דרך שמזוהים עם קואורדינטות בעולם, קטגוריות של היד הדומיננטית(ידי שמאל/ימין) וקטגוריות של תנועות ידיים של הידיים שזוהו.

דוגמה לנתוני הפלט מהמשימה הזאת:

ה-GestureRecognizerResult שהתקבל מכיל ארבעה רכיבים, וכל רכיב הוא מערך, שבו כל רכיב מכיל את התוצאה שזוהתה של יד אחת שזוהתה.

• התאמה ליד הדומיננטית

  היד הדומיננטית מציינת אם הידיים שזוהו הן ידיים שמאליות או יד ימין.

• תנועות

  קטגוריות התנועות שזוהו של הידיים שזוהו.

• ציוני דרך

  יש 21 ציוני דרך לידיים, כל אחד מהם מורכב מקואורדינטות x, y ו-z. הקואורדינטות x ו-y מנורמלות ל-[0.0, 1.0] לפי הרוחב והגובה של התמונה, בהתאמה. הקואורדינטה z מייצגת את העומק של ציון הדרך, והעומק בפרק כף היד הוא המקור. ככל שהערך קטן יותר, כך היעד קרוב יותר למצלמה. העוצמה של z משתמשת בקנה מידה זהה לזה של x.

• אתרים חשובים בעולם

  גם ציוני הדרך עם 21 היד מוצגים בקואורדינטות בעולם. כל ציון דרך מורכב מ-x, מ-y ומ-z, ומייצגים קואורדינטות תלת-ממדיות בעולם האמיתי, במטרים, שהמקור שלהן נמצא במרכז הגאומטרי של כף היד.

GestureRecognizerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Gestures:
    Categories #0:
      score        : 0.76893
      categoryName : Thumb_Up
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

בתמונות הבאות אפשר לראות המחשה של פלט המשימה:

הקוד לדוגמה של מזהה התנועות מדגים איך להציג את תוצאות הזיהוי שהוחזרו מהמשימה. פרטים נוספים זמינים בדוגמה לקוד.