La tarea de marcador de posición de pose de MediaPipe te permite detectar puntos de referencia de cuerpos humanos en una imagen o un video. Puedes usar esta tarea para identificar ubicaciones clave del cuerpo, analizar la postura y categorizar los movimientos. Esta tarea usa modelos de aprendizaje automático (AA) que trabajan con imágenes o videos individuales. La tarea genera puntos de referencia de la postura del cuerpo en coordenadas de imagen y en coordenadas mundiales tridimensionales.
La muestra de código que se describe en estas instrucciones está disponible en GitHub. Para obtener más información sobre las funciones, los modelos y las opciones de configuración de esta tarea, consulta la descripción general.
Ejemplo de código
El código de ejemplo de Pose Landmarker proporciona una implementación completa de esta tarea en Python como referencia. Este código te ayuda a probar esta tarea y comenzar a compilar tu propio marcador de poses. Puedes ver, ejecutar y editar el código de ejemplo de Pose Landmarker solo con tu navegador web.
Si implementas el marcador de poses para Raspberry Pi, consulta la app de ejemplo para Raspberry Pi.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y codificar proyectos específicamente para usar Pose Landmarker. Para obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de la versión de la plataforma, consulta la Guía de configuración para Python.
Paquetes
La tarea de MediaPipe Pose Landmarker requiere el paquete mediapipe de PyPI. Puedes instalar y importar estas dependencias con lo siguiente:
$ python -m pip install mediapipe
Importaciones
Importa las siguientes clases para acceder a las funciones de la tarea de Pose Landmarker:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Modelo
La tarea de MediaPipe Pose Landmarker requiere un modelo entrenado que sea compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para Pose Landmarker, consulta la sección Modelos de la descripción general de la tarea.
Selecciona y descarga el modelo, y guárdalo en un directorio local:
model_path = '/absolute/path/to/pose_landmarker.task'
Usa el parámetro model_asset_path del objeto BaseOptions para especificar la ruta del modelo que se usará. Para ver un ejemplo de código, consulta la siguiente sección.
Crea la tarea
La tarea de MediaPipe Pose Landmarker usa la función create_from_options para configurar la tarea. La función create_from_options acepta valores para que las opciones de configuración los controlen. Para obtener más información, consulta Opciones de configuración.
En el siguiente código, se muestra cómo compilar y configurar esta tarea.
En estos ejemplos, también se muestran las variaciones de la construcción de tareas para imágenes, archivos de video y transmisiones en vivo.
Imagen
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions VisionRunningMode = mp.tasks.vision.RunningMode options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.IMAGE) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Video
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a pose landmarker instance with the video mode: options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.VIDEO) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Transmisión en vivo
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions PoseLandmarkerResult = mp.tasks.vision.PoseLandmarkerResult VisionRunningMode = mp.tasks.vision.RunningMode # Create a pose landmarker instance with the live stream mode: def print_result(result: PoseLandmarkerResult, output_image: mp.Image, timestamp_ms: int): print('pose landmarker result: {}'.format(result)) options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.LIVE_STREAM, result_callback=print_result) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Para ver un ejemplo completo de cómo crear un marcador de posición para usar con una imagen, consulta el ejemplo de código.
Opciones de configuración
Esta tarea tiene las siguientes opciones de configuración para aplicaciones de Python:
| Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
|---|---|---|---|
running_mode |
Establece el modo de ejecución de la tarea. Existen tres modos: IMAGE: Es el modo para entradas de una sola imagen. VIDEO: Es el modo para los fotogramas decodificados de un video. LIVE_STREAM: Es el modo de transmisión en vivo de datos de entrada, como los de una cámara. En este modo, se debe llamar a resultListener para configurar un objeto de escucha que reciba resultados de forma asíncrona. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
Es la cantidad máxima de poses que puede detectar el marcador de poses. | Integer > 0 |
1 |
min_pose_detection_confidence |
Es la puntuación de confianza mínima para que la detección de poses se considere exitosa. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
Es la puntuación de confianza mínima de la puntuación de presencia de pose en la detección de puntos de referencia de pose. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Es la puntuación de confianza mínima para que el seguimiento de poses se considere exitoso. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
Indica si el marcador de posición genera una máscara de segmentación para la posición detectada. | Boolean |
False |
result_callback |
Establece el objeto de escucha de resultados para que reciba los resultados del marcador de posición de forma asíncrona cuando el marcador de posición de pose esté en el modo de transmisión en vivo.
Solo se puede usar cuando el modo de ejecución está configurado como LIVE_STREAM. |
ResultListener |
N/A |
Preparar los datos
Prepara tu entrada como un archivo de imagen o un array de numpy y, luego, conviértela en un objeto mediapipe.Image. Si tu entrada es un archivo de video o una transmisión en vivo desde una cámara web, puedes usar una biblioteca externa, como OpenCV, para cargar tus fotogramas de entrada como arrays de numpy.
Imagen
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Video
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Transmisión en vivo
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Ejecuta la tarea
El marcador de poses usa las funciones detect, detect_for_video y detect_async para activar inferencias. En el caso de la identificación de puntos de referencia de poses, esto implica el procesamiento previo de los datos de entrada y la detección de poses en la imagen.
En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas.
Imagen
# Perform pose landmarking on the provided single image. # The pose landmarker must be created with the image mode. pose_landmarker_result = landmarker.detect(mp_image)
Video
# Perform pose landmarking on the provided single image. # The pose landmarker must be created with the video mode. pose_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
Transmisión en vivo
# Send live image data to perform pose landmarking. # The results are accessible via the `result_callback` provided in # the `PoseLandmarkerOptions` object. # The pose landmarker must be created with the live stream mode. landmarker.detect_async(mp_image, frame_timestamp_ms)
Ten en cuenta lo siguiente:
- Cuando se ejecuta en el modo de video o en el modo de transmisión en vivo, también proporciona a la tarea de Pose Landmarker la marca de tiempo del fotograma de entrada.
- Cuando se ejecuta en la imagen o el modelo de video, la tarea del marcador de posición de pose bloquea el subproceso actual hasta que termina de procesar la imagen o el fotograma de entrada.
- Cuando se ejecuta en el modo de transmisión en vivo, la tarea de Pose Landmarker se muestra de inmediato y no bloquea el subproceso actual. Invocará al objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un fotograma de entrada. Si se llama a la función de detección cuando la tarea de Pose Landmarker está ocupada procesando otro fotograma, la tarea ignorará el nuevo fotograma de entrada.
Para ver un ejemplo completo de cómo ejecutar un marcador de pose en una imagen, consulta el ejemplo de código y obtén más información.
Cómo controlar y mostrar los resultados
El marcador de poses muestra un objeto poseLandmarkerResult para cada ejecución de detección. El objeto del resultado contiene coordenadas para cada punto de referencia de pose.
A continuación, se muestra un ejemplo de los datos de resultado de esta tarea:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
El resultado contiene coordenadas normalizadas (Landmarks) y coordenadas mundiales (WorldLandmarks) para cada punto de referencia.
El resultado contiene las siguientes coordenadas normalizadas (Landmarks):
xyy: Coordenadas de punto de referencia normalizadas entre 0.0 y 1.0 por el ancho (x) y la altura (y) de la imagen.z: Es la profundidad del punto de referencia, con la profundidad en el punto medio de las caderas como origen. Cuanto menor sea el valor, más cerca estará el punto de referencia de la cámara. La magnitud de z usa aproximadamente la misma escala quex.visibility: Es la probabilidad de que el punto de referencia sea visible en la imagen.
El resultado contiene las siguientes coordenadas mundiales (WorldLandmarks):
x,yyz: Coordenadas tridimensionales del mundo real en metros, con el punto medio de las caderas como origen.visibility: Es la probabilidad de que el punto de referencia sea visible en la imagen.
En la siguiente imagen, se muestra una visualización del resultado de la tarea:
La máscara de segmentación opcional representa la probabilidad de que cada píxel pertenezca a una persona detectada. La siguiente imagen es una máscara de segmentación del resultado de la tarea:
En el código de ejemplo de Pose Landmarker, se muestra cómo mostrar los resultados que muestra la tarea. Consulta el ejemplo de código para obtener más información.