Guide de reconnaissance de gestes pour Python

La tâche de reconnaissance de gestes MediaPipe vous permet de reconnaître des gestes de la main en temps réel. fournit les résultats du geste reconnu de la main et les points de repère de la main des mains libres. Ces instructions vous expliquent comment utiliser la reconnaissance de gestes à l'aide d'applications Python.

Pour voir concrètement en quoi consiste cette tâche, consultez la page Web démo pour plus d'informations sur les fonctionnalités, les modèles et les options de configuration cette tâche, consultez la Présentation.

Exemple de code

L'exemple de code pour la reconnaissance de gestes fournit une implémentation complète de cette dans Python à titre de référence. Ce code vous aide à tester cette tâche et à obtenir vous avez commencé à créer votre propre outil de reconnaissance des gestes de la main. Vous pouvez afficher, exécuter modifier l'exemple de l'outil de reconnaissance de gestes du code en utilisant uniquement votre navigateur Web.

Si vous implémentez la reconnaissance de gestes pour Raspberry Pi, Exemple pour Raspberry Pi l'application Nest.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement projets de code spécifiques pour utiliser la reconnaissance de gestes. Pour obtenir des informations générales sur configurer votre environnement de développement pour utiliser les tâches MediaPipe, y compris version de la plate-forme requise, consultez le guide de configuration Python.

Colis

La tâche de reconnaissance de gestes MediaPipe nécessite le package PyPI mediapipe. Vous pouvez installer Importez ces dépendances à l'aide de la commande suivante:

$ python -m pip install mediapipe

Importations

Importez les classes suivantes pour accéder aux fonctions des tâches de reconnaissance de gestes:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modèle

La tâche de reconnaissance de gestes MediaPipe nécessite un bundle de modèles entraînés compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour la reconnaissance de gestes, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans un répertoire local:

model_path = '/absolute/path/to/gesture_recognizer.task'

Spécifiez le chemin d'accès du modèle dans le paramètre "Nom du modèle", comme indiqué ci-dessous:

base_options = BaseOptions(model_asset_path=model_path)

Créer la tâche

La tâche de reconnaissance de gestes MediaPipe utilise la fonction create_from_options pour configurer la tâche. La fonction create_from_options accepte des valeurs pour la configuration à gérer. Pour en savoir plus sur les options de configuration, consultez Options de configuration.

Le code suivant montre comment compiler et configurer cette tâche.

Ces exemples montrent également les variantes de la construction de la tâche pour les images, des fichiers vidéo et des flux vidéo en direct.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
GestureRecognizer = mp.tasks.vision.GestureRecognizer
GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a gesture recognizer instance with the image mode:
options = GestureRecognizerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE)
with GestureRecognizer.create_from_options(options) as recognizer:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
GestureRecognizer = mp.tasks.vision.GestureRecognizer
GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a gesture recognizer instance with the video mode:
options = GestureRecognizerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO)
with GestureRecognizer.create_from_options(options) as recognizer:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
GestureRecognizer = mp.tasks.vision.GestureRecognizer
GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions
GestureRecognizerResult = mp.tasks.vision.GestureRecognizerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a gesture recognizer instance with the live stream mode:
def print_result(result: GestureRecognizerResult, output_image: mp.Image, timestamp_ms: int):
    print('gesture recognition result: {}'.format(result))

options = GestureRecognizerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)
with GestureRecognizer.create_from_options(options) as recognizer:
  # The detector is initialized. Use it here.
  # ...
    

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications Python:

Préparer les données

Préparez votre entrée en tant que fichier image ou tableau Numpy, puis convertissez-la en mediapipe.Image. Si votre entrée est un fichier vidéo ou une diffusion en direct webcam, vous pouvez utiliser une bibliothèque externe comme OpenCV pour charger vos frames d'entrée au format Numpy ; tableaux.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Exécuter la tâche

L'outil de reconnaissance de gestes utilise les clés pour déclencher des inférences. Pour la reconnaissance des gestes, cela implique prétraiter les données d'entrée, détecter les mains dans l'image, détecter les mains points de repère, et reconnaître le geste de la main à partir des points de repère.

Le code suivant montre comment exécuter le traitement avec le modèle de tâche.

# Perform gesture recognition on the provided single image.
# The gesture recognizer must be created with the image mode.
gesture_recognition_result = recognizer.recognize(mp_image)
    

# Perform gesture recognition on the provided single image.
# The gesture recognizer must be created with the video mode.
gesture_recognition_result = recognizer.recognize_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform gesture recognition.
# The results are accessible via the `result_callback` provided in
# the `GestureRecognizerOptions` object.
# The gesture recognizer must be created with the live stream mode.
recognizer.recognize_async(mp_image, frame_timestamp_ms)
    

Veuillez noter les points suivants :

• Lorsque vous êtes en mode vidéo ou flux en direct, vous devez également fournir à la tâche de reconnaissance de gestes le code temporel de la trame d'entrée.
• Lors de son exécution dans l'image ou le modèle vidéo, la tâche de reconnaissance de gestes bloquer le thread actuel jusqu'à ce qu'il ait fini de traiter l'image d'entrée ou cadre.
• Lorsqu'elle est exécutée en mode diffusion en direct, la tâche de reconnaissance de gestes ne bloque pas le thread actuel, mais renvoie immédiatement. Elle appellera son résultat avec le résultat de la reconnaissance chaque fois que le traitement est terminé une trame d'entrée. Si la fonction de reconnaissance est appelée lorsque l'outil de reconnaissance de gestes est occupée à traiter une autre trame, elle ignore la nouvelle entrée cadre.

Pour obtenir un exemple complet d'exécution d'un outil de reconnaissance de gestes sur une image, reportez-vous au code exemple pour en savoir plus.

Gérer et afficher les résultats

L'outil de reconnaissance de gestes génère un objet de résultat de la détection de gestes pour chaque de reconnaissance vocale. L'objet de résultat contient des points de repère de main dans les coordonnées de l'image, points de repère de la main en coordonnées mondiales, main gauche(main gauche/droite) et main dominante catégories de gestes des mains détectées.

Voici un exemple de données de sortie de cette tâche:

Le résultat GestureRecognizerResult contient quatre composants, chacun sous la forme d'un tableau, où chaque élément contient le résultat détecté par une seule main détectée.

• Main dominante

  La main dominante indique si les mains détectées sont des mains gauches ou droites.

• Gestes

  Catégories de gestes reconnus par les mains détectées.

• Points de repère

  Il y a 21 points de repère de main, chacun composé des coordonnées x, y et z. La Les coordonnées x et y sont normalisées à [0,0, 1,0] par la largeur de l'image et et leur hauteur. La coordonnée z représente la profondeur du point de repère, avec la profondeur au poignet étant l'origine. Plus la valeur est faible, plus la à l'objectif de l'appareil photo. L'amplitude de z utilise à peu près la même échelle que x

• Monuments mondiaux

  Les 21 points de repère sont également représentés par des coordonnées mondiales. Chaque point de repère se compose de x, y et z, qui représentent des coordonnées 3D réelles dans mètres avec l'origine au centre géométrique de la main.

GestureRecognizerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Gestures:
    Categories #0:
      score        : 0.76893
      categoryName : Thumb_Up
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

Les images suivantes illustrent le résultat de la tâche:

L'exemple de code de la reconnaissance de gestes montre comment afficher la reconnaissance renvoyés par la tâche, consultez le code exemple pour en savoir plus.