La tarea MediaPipe Pose Landmarker te permite detectar puntos de referencia de cuerpos humanos en una imagen o un video. Puedes usar esta tarea para identificar ubicaciones clave del cuerpo, analizar la postura y categorizar los movimientos. En esta tarea, se usan modelos de aprendizaje automático (AA) que funcionan con imágenes o videos individuales. La tarea muestra los puntos de referencia de las posturas del cuerpo en coordenadas de imágenes y en coordenadas mundiales tridimensionales.
La muestra de código que se describe en estas instrucciones está disponible en GitHub. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo de Pose Landmarker proporciona una implementación completa de esta tarea en Python para tu referencia. Este código te ayudará a probar esta tarea y comenzar a crear tu propio punto de referencia de posturas. Puedes ver, ejecutar y editar el código de ejemplo de Pose Landmarker solo con tu navegador web.
Si quieres implementar el marcador de posición para Raspberry Pi, consulta la app de ejemplo de Raspberry Pi.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente para usar el marcador de posición. Si deseas obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración de Python.
Paquetes
La tarea de marcador de posición de MediaPipe requiere el paquete Mediapipe de PyPI. Puedes instalar e importar estas dependencias con lo siguiente:
$ python -m pip install mediapipe
Importaciones
Importa las siguientes clases para acceder a las funciones de tareas de Pose Landmarker:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Modelo
La tarea de marcador de posición de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el marcador de posición, consulta la sección Modelos de la descripción general de la tarea.
Selecciona y descarga el modelo; luego, almacénalo en un directorio local:
model_path = '/absolute/path/to/pose_landmarker.task'
Usa el parámetro model_asset_path
del objeto BaseOptions
para especificar la ruta de acceso del modelo que se usará. Para ver un ejemplo de código, consulta la siguiente sección.
Crea la tarea
La tarea de marcador de posición de MediaPipe usa la función create_from_options
para configurarla. La función create_from_options
acepta valores para controlar las opciones de configuración. Para obtener más información, consulta Opciones de configuración.
En el siguiente código, se muestra la compilación y configuración de esta tarea.
En estos ejemplos, también se incluyen las variaciones de la creación de tareas para imágenes, archivos de video y transmisiones en vivo.
De imagen
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions VisionRunningMode = mp.tasks.vision.RunningMode options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.IMAGE) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Video
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a pose landmarker instance with the video mode: options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.VIDEO) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Transmisión en vivo
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions PoseLandmarkerResult = mp.tasks.vision.PoseLandmarkerResult VisionRunningMode = mp.tasks.vision.RunningMode # Create a pose landmarker instance with the live stream mode: def print_result(result: PoseLandmarkerResult, output_image: mp.Image, timestamp_ms: int): print('pose landmarker result: {}'.format(result)) options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.LIVE_STREAM, result_callback=print_result) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Si deseas ver un ejemplo completo de cómo crear un marcador de posición para usar con una imagen, consulta el ejemplo de código.
Opciones de configuración
Esta tarea incluye las siguientes opciones de configuración para aplicaciones de Python:
Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
---|---|---|---|
running_mode |
Establece el modo de ejecución para la tarea. Existen tres modos: IMAGE: El modo para entradas de una sola imagen. VIDEO: Es el modo para los fotogramas decodificados de un video. LIVE_STREAM: Es el modo para una transmisión en vivo de datos de entrada, como los que provienen de una cámara. En este modo, se debe llamar a resultListener para configurar un objeto de escucha a fin de recibir resultados de forma asíncrona. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
num_poses |
La cantidad máxima de poses que puede detectar el marcador de posiciones. | Integer > 0 |
1 |
min_pose_detection_confidence |
La puntuación de confianza mínima para que la detección de poses se considere exitosa. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
La puntuación de confianza mínima de la puntuación de presencia de pose en la detección de puntos de referencia de pose. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
La puntuación de confianza mínima para que se considere exitoso el seguimiento de la postura. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
Si Pose Landmarker genera una máscara de segmentación para la posición detectada. | Boolean |
False |
result_callback |
Configura el objeto de escucha de resultados para recibir los resultados del punto de referencia de forma asíncrona cuando Pose Landmarker está en el modo de transmisión en vivo.
Solo se puede usar cuando el modo de ejecución está configurado en LIVE_STREAM |
ResultListener |
N/A |
Preparar los datos
Prepara la entrada como un archivo de imagen o un array de NumPy y, luego, conviértela en un objeto mediapipe.Image
. Si la entrada es un archivo de video o una transmisión en vivo desde una cámara web, puedes usar una biblioteca externa, como OpenCV, para cargar los fotogramas de entrada como arrays NumPy.
De imagen
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Video
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Transmisión en vivo
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Ejecuta la tarea
El marcador de posición usa las funciones detect
, detect_for_video
y detect_async
para activar las inferencias. Para los puntos de referencia de las posturas, esto implica el procesamiento previo de los datos de entrada y la detección de poses en la imagen.
En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas.
De imagen
# Perform pose landmarking on the provided single image. # The pose landmarker must be created with the image mode. pose_landmarker_result = landmarker.detect(mp_image)
Video
# Perform pose landmarking on the provided single image. # The pose landmarker must be created with the video mode. pose_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
Transmisión en vivo
# Send live image data to perform pose landmarking. # The results are accessible via the `result_callback` provided in # the `PoseLandmarkerOptions` object. # The pose landmarker must be created with the live stream mode. landmarker.detect_async(mp_image, frame_timestamp_ms)
Ten en cuenta lo siguiente:
- Cuando se ejecute en el modo de video o de transmisión en vivo, proporciona también a la tarea Pose Landmarker la marca de tiempo del fotograma de entrada.
- Cuando se ejecuta en la imagen o el modelo de video, la tarea Pose Landmarker bloquea el subproceso actual hasta que termina de procesar la imagen o el marco de entrada.
- Cuando se ejecuta en el modo de transmisión en vivo, la tarea de marcador de posición se muestra de inmediato y no bloquea el subproceso actual. Invocará el objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un marco de entrada. Si se llama a la función de detección cuando la tarea Pose Landmarker está ocupada procesando otro fotograma, la tarea ignorará el nuevo fotograma de entrada.
Para ver un ejemplo completo de cómo ejecutar un marcador de posición en una imagen, consulta el ejemplo de código para obtener más detalles.
Cómo controlar y mostrar los resultados
El marcador de posición muestra un objeto poseLandmarkerResult
para cada ejecución de detección. El objeto Resultado contiene coordenadas para cada punto de referencia de la pose.
A continuación, se muestra un ejemplo de los datos de salida de esta tarea:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
El resultado contiene coordenadas normalizadas (Landmarks
) y coordenadas mundiales (WorldLandmarks
) para cada punto de referencia.
El resultado contiene las siguientes coordenadas normalizadas (Landmarks
):
x
yy
: Coordenadas del punto de referencia normalizadas entre 0.0 y 1.0 por el ancho (x
) y la altura (y
) de la imagen.z
: Es la profundidad del punto de referencia, con la profundidad en el punto medio de las caderas como origen. Cuanto menor sea el valor, más cerca estará el punto de referencia de la cámara. La magnitud de z usa más o menos la misma escala quex
.visibility
: Es la probabilidad de que el punto de referencia sea visible dentro de la imagen.
El resultado contiene las siguientes coordenadas mundiales (WorldLandmarks
):
x
,y
yz
: Coordenadas tridimensionales del mundo real en metros, con el punto medio de las caderas como origen.visibility
: Es la probabilidad de que el punto de referencia sea visible dentro de la imagen.
En la siguiente imagen, se muestra una visualización del resultado de la tarea:
La máscara de segmentación opcional representa la probabilidad de que cada píxel pertenezca a una persona detectada. La siguiente imagen es una máscara de segmentación del resultado de la tarea:
En el código de ejemplo de Pose Landmarker, se muestra cómo mostrar los resultados que muestra la tarea. Consulta el ejemplo de código para obtener más información.