La tarea MediaPipe Pose Landmarker te permite detectar puntos de referencia de cuerpos humanos en una imagen o un video. Puedes usar esta tarea para identificar ubicaciones clave del cuerpo, analizar la postura y categorizar los movimientos. Esta tarea usa modelos de aprendizaje automático (AA) que funcionan con imágenes o videos individuales. La tarea genera puntos de referencia de la postura corporal en coordenadas de imagen y en coordenadas globales tridimensionales.
En estas instrucciones, se muestra cómo usar Pose Landmarker para apps web y de JavaScript. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo de Pose Landmarker proporciona una implementación completa de esta tarea en JavaScript para tu referencia. Este código te ayuda a probar esta tarea y a comenzar a compilar tu propia app de detección de puntos de referencia de la pose. Puedes ver, ejecutar y editar el ejemplo de Pose Landmarker con solo tu navegador web.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo específicamente para usar Pose Landmarker. Para obtener información general sobre cómo configurar tu entorno de desarrollo web y de JavaScript, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración para la Web.
Paquetes de JavaScript
El código de Pose Landmarker está disponible a través del paquete @mediapipe/tasks-vision de NPM de MediaPipe. Puedes encontrar y descargar estas bibliotecas siguiendo las instrucciones de la guía de configuración de la plataforma.
Puedes instalar los paquetes requeridos a través de NPM con el siguiente comando:
npm install @mediapipe/tasks-vision
Si deseas importar el código de la tarea a través de un servicio de red de distribución de contenidos (CDN), agrega el siguiente código en la etiqueta <head> de tu archivo HTML:
<!-- You can replace JSDeliver with another CDN if you prefer -->
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.mjs"
crossorigin="anonymous"></script>
</head>
Modelo
La tarea MediaPipe Pose Landmarker requiere un modelo entrenado que sea compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para Pose Landmarker, consulta la sección Modelos del resumen de la tarea.
Selecciona y descarga un modelo, y, luego, almacénalo en el directorio de tu proyecto:
<dev-project-root>/app/shared/models/
Crea la tarea
Usa una de las funciones createFrom...() de Pose Landmarker para preparar la tarea para ejecutar inferencias. Usa la función createFromModelPath() con una ruta de acceso relativa o absoluta al archivo del modelo entrenado.
Si tu modelo ya está cargado en la memoria, puedes usar el método createFromModelBuffer().
En el siguiente ejemplo de código, se muestra el uso de la función createFromOptions() para configurar la tarea. La función createFromOptions() te permite personalizar el Pose Landmarker con opciones de configuración. Para obtener más información sobre las opciones de configuración, consulta Opciones de configuración.
El siguiente código muestra cómo compilar y configurar la tarea con opciones personalizadas:
const vision = await FilesetResolver.forVisionTasks(
// path/to/wasm/root
"https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@latest/wasm"
);
const poseLandmarker = await poseLandmarker.createFromOptions(
vision,
{
baseOptions: {
modelAssetPath: "path/to/model"
},
runningMode: runningMode
});
Opciones de configuración
Esta tarea tiene las siguientes opciones de configuración para aplicaciones web y de JavaScript:
| Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
|---|---|---|---|
runningMode |
Establece el modo de ejecución de la tarea. Existen dos modos: IMAGE: Es el modo para las entradas de una sola imagen. VIDEO: Es el modo para los fotogramas decodificados de un video o de una transmisión en vivo de datos de entrada, como los de una cámara. |
{IMAGE, VIDEO} |
IMAGE |
numPoses |
Es la cantidad máxima de poses que puede detectar el Pose Landmarker. | Integer > 0 |
1 |
minPoseDetectionConfidence |
Es la puntuación de confianza mínima para que la detección de la postura se considere exitosa. | Float [0.0,1.0] |
0.5 |
minPosePresenceConfidence |
Es la puntuación de confianza mínima de la presencia de la pose en la detección de puntos de referencia de la pose. | Float [0.0,1.0] |
0.5 |
minTrackingConfidence |
Es la puntuación de confianza mínima para que el seguimiento de la postura se considere exitoso. | Float [0.0,1.0] |
0.5 |
outputSegmentationMasks |
Indica si Pose Landmarker genera una máscara de segmentación para la pose detectada. | Boolean |
False |
Preparar los datos
Pose Landmarker puede detectar poses en imágenes en cualquier formato compatible con el navegador host. La tarea también controla el preprocesamiento de la entrada de datos, incluido el cambio de tamaño, la rotación y la normalización de valores. Para marcar las poses en los videos, puedes usar la API para procesar rápidamente un fotograma a la vez, con la marca de tiempo del fotograma para determinar cuándo ocurren las poses dentro del video.
Ejecuta la tarea
El Pose Landmarker usa los métodos detect() (con el modo de ejecución IMAGE) y detectForVideo() (con el modo de ejecución VIDEO) para activar las inferencias. La tarea procesa los datos, intenta identificar puntos de referencia de las poses y, luego, informa los resultados.
Las llamadas a los métodos detect() y detectForVideo() de Pose Landmarker se ejecutan de forma síncrona y bloquean el subproceso de interposición del usuario. Si detectas poses en los fotogramas de video de la cámara de un dispositivo, cada detección bloqueará el subproceso principal. Para evitar esto, puedes implementar trabajadores web para ejecutar los métodos detect() y detectForVideo() en otro subproceso.
En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas:
Imagen
const image = document.getElementById("image") as HTMLImageElement; const poseLandmarkerResult = poseLandmarker.detect(image);
Video
await poseLandmarker.setOptions({ runningMode: "VIDEO" }); let lastVideoTime = -1; function renderLoop(): void { const video = document.getElementById("video"); if (video.currentTime !== lastVideoTime) { const poseLandmarkerResult = poseLandmarker.detectForVideo(video); processResults(detections); lastVideoTime = video.currentTime; } requestAnimationFrame(() => { renderLoop(); }); }
Para obtener una implementación más completa de la ejecución de una tarea de Pose Landmarker, consulta el ejemplo.
Cómo controlar y mostrar los resultados
El Pose Landmarker devuelve un objeto poseLandmarkerResult para cada ejecución de detección. El objeto de resultado contiene las coordenadas de cada punto de referencia de la pose.
A continuación, se muestra un ejemplo de los datos de resultado de esta tarea:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
El resultado contiene las coordenadas normalizadas (Landmarks) y las coordenadas mundiales (WorldLandmarks) de cada punto de referencia.
El resultado contiene las siguientes coordenadas normalizadas (Landmarks):
xyy: Coordenadas de puntos de referencia normalizadas entre 0.0 y 1.0 según el ancho (x) y la altura (y) de la imagen.z: Es la profundidad del punto de referencia, con la profundidad en el punto medio de las caderas como origen. Cuanto más pequeño sea el valor, más cerca estará el punto de referencia de la cámara. La magnitud de z usa aproximadamente la misma escala quex.visibility: Es la probabilidad de que el punto de referencia sea visible en la imagen.
El resultado contiene las siguientes coordenadas mundiales (WorldLandmarks):
x,yyz: Coordenadas tridimensionales del mundo real en metros, con el punto medio de las caderas como origen.visibility: Es la probabilidad de que el punto de referencia sea visible en la imagen.
En la siguiente imagen, se muestra una visualización del resultado de la tarea:
La máscara de segmentación opcional representa la probabilidad de que cada píxel pertenezca a una persona detectada. La siguiente imagen es una máscara de segmentación del resultado de la tarea:
El código de ejemplo de Pose Landmarker muestra cómo visualizar los resultados que devuelve la tarea. Consulta el ejemplo.