Guía de detección de puntos de referencia de poses para Python

La tarea MediaPipe Pose Landmarker te permite detectar puntos de referencia de cuerpos humanos en una imagen o un video. Puedes usar esta tarea para identificar ubicaciones clave del cuerpo, analizar la postura y categorizar los movimientos. En esta tarea, se usan modelos de aprendizaje automático (AA) que funcionan con imágenes o videos individuales. La tarea muestra los puntos de referencia de las posturas del cuerpo en coordenadas de imágenes y en coordenadas mundiales tridimensionales.

La muestra de código que se describe en estas instrucciones está disponible en GitHub. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de Pose Landmarker proporciona una implementación completa de esta tarea en Python para tu referencia. Este código te ayudará a probar esta tarea y comenzar a crear tu propio punto de referencia de posturas. Puedes ver, ejecutar y editar el código de ejemplo de Pose Landmarker solo con tu navegador web.

Si quieres implementar el marcador de posición para Raspberry Pi, consulta la app de ejemplo de Raspberry Pi.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente para usar el marcador de posición. Si deseas obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración de Python.

Paquetes

La tarea de marcador de posición de MediaPipe requiere el paquete Mediapipe de PyPI. Puedes instalar e importar estas dependencias con lo siguiente:

$ python -m pip install mediapipe

Importaciones

Importa las siguientes clases para acceder a las funciones de tareas de Pose Landmarker:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modelo

La tarea de marcador de posición de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el marcador de posición, consulta la sección Modelos de la descripción general de la tarea.

Selecciona y descarga el modelo; luego, almacénalo en un directorio local:

model_path = '/absolute/path/to/pose_landmarker.task'

Usa el parámetro model_asset_path del objeto BaseOptions para especificar la ruta de acceso del modelo que se usará. Para ver un ejemplo de código, consulta la siguiente sección.

Crea la tarea

La tarea de marcador de posición de MediaPipe usa la función create_from_options para configurarla. La función create_from_options acepta valores para controlar las opciones de configuración. Para obtener más información, consulta Opciones de configuración.

En el siguiente código, se muestra la compilación y configuración de esta tarea.

En estos ejemplos, también se incluyen las variaciones de la creación de tareas para imágenes, archivos de video y transmisiones en vivo.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.IMAGE)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the video mode:
options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.VIDEO)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
PoseLandmarkerResult = mp.tasks.vision.PoseLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the live stream mode:
def print_result(result: PoseLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('pose landmarker result: {}'.format(result))

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Si deseas ver un ejemplo completo de cómo crear un marcador de posición para usar con una imagen, consulta el ejemplo de código.

Opciones de configuración

Esta tarea incluye las siguientes opciones de configuración para aplicaciones de Python:

Preparar los datos

Prepara la entrada como un archivo de imagen o un array de NumPy y, luego, conviértela en un objeto mediapipe.Image. Si la entrada es un archivo de video o una transmisión en vivo desde una cámara web, puedes usar una biblioteca externa, como OpenCV, para cargar los fotogramas de entrada como arrays NumPy.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Ejecuta la tarea

El marcador de posición usa las funciones detect, detect_for_video y detect_async para activar las inferencias. Para los puntos de referencia de las posturas, esto implica el procesamiento previo de los datos de entrada y la detección de poses en la imagen.

En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas.

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the image mode.
pose_landmarker_result = landmarker.detect(mp_image)
    

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the video mode.
pose_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform pose landmarking.
# The results are accessible via the `result_callback` provided in
# the `PoseLandmarkerOptions` object.
# The pose landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Ten en cuenta lo siguiente:

• Cuando se ejecute en el modo de video o de transmisión en vivo, proporciona también a la tarea Pose Landmarker la marca de tiempo del fotograma de entrada.
• Cuando se ejecuta en la imagen o el modelo de video, la tarea Pose Landmarker bloquea el subproceso actual hasta que termina de procesar la imagen o el marco de entrada.
• Cuando se ejecuta en el modo de transmisión en vivo, la tarea de marcador de posición se muestra de inmediato y no bloquea el subproceso actual. Invocará el objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un marco de entrada. Si se llama a la función de detección cuando la tarea Pose Landmarker está ocupada procesando otro fotograma, la tarea ignorará el nuevo fotograma de entrada.

Para ver un ejemplo completo de cómo ejecutar un marcador de posición en una imagen, consulta el ejemplo de código para obtener más detalles.

Cómo controlar y mostrar los resultados

El marcador de posición muestra un objeto poseLandmarkerResult para cada ejecución de detección. El objeto Resultado contiene coordenadas para cada punto de referencia de la pose.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

El resultado contiene coordenadas normalizadas (Landmarks) y coordenadas mundiales (WorldLandmarks) para cada punto de referencia.

El resultado contiene las siguientes coordenadas normalizadas (Landmarks):

• x y y: Coordenadas del punto de referencia normalizadas entre 0.0 y 1.0 por el ancho (x) y la altura (y) de la imagen.

• z: Es la profundidad del punto de referencia, con la profundidad en el punto medio de las caderas como origen. Cuanto menor sea el valor, más cerca estará el punto de referencia de la cámara. La magnitud de z usa más o menos la misma escala que x.

• visibility: Es la probabilidad de que el punto de referencia sea visible dentro de la imagen.

El resultado contiene las siguientes coordenadas mundiales (WorldLandmarks):

• x, y y z: Coordenadas tridimensionales del mundo real en metros, con el punto medio de las caderas como origen.

• visibility: Es la probabilidad de que el punto de referencia sea visible dentro de la imagen.

En la siguiente imagen, se muestra una visualización del resultado de la tarea:

La máscara de segmentación opcional representa la probabilidad de que cada píxel pertenezca a una persona detectada. La siguiente imagen es una máscara de segmentación del resultado de la tarea:

En el código de ejemplo de Pose Landmarker, se muestra cómo mostrar los resultados que muestra la tarea. Consulta el ejemplo de código para obtener más información.