La tarea MediaPipe Pose Landmarker te permite detectar puntos de referencia de cuerpos humanos en una imagen o un video. Puedes usar esta tarea para identificar ubicaciones clave del cuerpo, analizar la postura y categorizar los movimientos. En esta tarea, se usan modelos de aprendizaje automático (AA) que funcionan con imágenes o videos individuales. La tarea muestra los puntos de referencia de las posturas del cuerpo en coordenadas de imágenes y en coordenadas mundiales tridimensionales.
La muestra de código que se describe en estas instrucciones está disponible en GitHub. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo de MediaPipe Tasks es una implementación simple de una app de marcador de posición para Android. En el ejemplo, se usa la cámara de un dispositivo Android físico para detectar poses en una transmisión de video continua. La app también puede detectar poses en imágenes y videos de la galería del dispositivo.
Puedes usar la app como punto de partida para tu propia app para Android o consultarla cuando modifiques una app existente. El código de ejemplo de Pose Landmarker se encuentra en GitHub.
Descarga el código
En las siguientes instrucciones, se muestra cómo crear una copia local del código de ejemplo con la herramienta de línea de comandos git.
Para descargar el código de ejemplo, haz lo siguiente:
- Usa el siguiente comando para clonar el repositorio de Git:
git clone https://github.com/google-ai-edge/mediapipe-samples
- De manera opcional, configura tu instancia de Git para que use un resultado disperso, de modo que solo tengas los archivos para la app de ejemplo de Pose Landmarker:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/pose_landmarker/android
Después de crear una versión local del código de ejemplo, puedes importar el proyecto a Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración de Android.
Componentes clave
Los siguientes archivos contienen el código crucial para esta aplicación de ejemplo de puntos de referencia de postura:
- PoseLandmarkerHelper.kt: Inicializa el marcador de posición de las posiciones y controla la selección del modelo y del delegado.
- CameraFragment.kt: Controla la cámara del dispositivo y procesa los datos de entrada de imagen y video.
- GalleryFragment.kt: Interactúa con
OverlayView
para mostrar la imagen o el video resultantes. - OverlayView.kt: Implementa la visualización para las poses detectadas.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente para usar el marcador de posición. Si quieres obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de la versión de la plataforma, consulta la Guía de configuración para Android.
Dependencias
La tarea Pose Landmarker usa la biblioteca com.google.mediapipe:tasks-vision
. Agrega esta dependencia al archivo build.gradle
de tu app para Android:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Modelo
La tarea de marcador de posición de MediaPipe requiere un paquete de modelos entrenados que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el marcador de posición, consulta la sección Modelos de la descripción general de la tarea.
Selecciona y descarga el modelo, y almacénalo en el directorio de tu proyecto:
<dev-project-root>/src/main/assets
Especifica la ruta del modelo dentro del parámetro ModelAssetPath
. En el código de ejemplo, el modelo se define en el archivo PoseLandmarkerHelper.kt
:
val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)
Crea la tarea
La tarea MediaPipe Pose Landmarker usa la función createFromOptions()
para configurar la tarea. La función createFromOptions()
acepta valores para las opciones de configuración. Si deseas obtener más información sobre las opciones de configuración, consulta Opciones de configuración.
El marcador de posición admite los siguientes tipos de datos de entrada: imágenes estáticas, archivos de video y transmisiones de video en vivo. Cuando creas la tarea, debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada. Elige la pestaña de tu tipo de datos de entrada para ver cómo crear la tarea.
De imagen
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.IMAGE) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Video
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.VIDEO) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Transmisión en vivo
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setResultListener(this::returnLivestreamResult) .setErrorListener(this::returnLivestreamError) .setRunningMode(RunningMode.LIVE_STREAM) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
La implementación del código de ejemplo de Pose Landmarker permite al usuario cambiar entre los modos de procesamiento. Este enfoque hace que el código de creación de la tarea sea más complicado y
puede que no sea apropiado para tu caso de uso. Puedes ver este código en la función setupPoseLandmarker()
del archivo PoseLandmarkerHelper.kt
.
Opciones de configuración
Esta tarea incluye las siguientes opciones de configuración para apps para Android:
Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
---|---|---|---|
runningMode |
Establece el modo de ejecución para la tarea. Existen tres modos: IMAGE: El modo para entradas de una sola imagen. VIDEO: Es el modo para los fotogramas decodificados de un video. LIVE_STREAM: Es el modo para una transmisión en vivo de datos de entrada, como los que provienen de una cámara. En este modo, se debe llamar a resultListener para configurar un objeto de escucha a fin de recibir resultados de forma asíncrona. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
numposes |
La cantidad máxima de poses que puede detectar el marcador de posiciones. | Integer > 0 |
1 |
minPoseDetectionConfidence |
La puntuación de confianza mínima para que la detección de poses se considere exitosa. | Float [0.0,1.0] |
0.5 |
minPosePresenceConfidence |
La puntuación de confianza mínima de la puntuación de presencia de pose en la detección de puntos de referencia de pose. | Float [0.0,1.0] |
0.5 |
minTrackingConfidence |
La puntuación de confianza mínima para que se considere exitoso el seguimiento de la postura. | Float [0.0,1.0] |
0.5 |
outputSegmentationMasks |
Si Pose Landmarker genera una máscara de segmentación para la posición detectada. | Boolean |
False |
resultListener |
Configura el objeto de escucha de resultados para recibir los resultados del punto de referencia de forma asíncrona cuando Pose Landmarker está en el modo de transmisión en vivo.
Solo se puede usar cuando el modo de ejecución está configurado en LIVE_STREAM |
ResultListener |
N/A |
errorListener |
Establece un objeto de escucha de errores opcional. | ErrorListener |
N/A |
Preparar los datos
Pose Landmarker funciona con imágenes, archivos de video y transmisiones de video en vivo. La tarea controla el procesamiento previo de la entrada de datos, incluido el cambio de tamaño, la rotación y la normalización de valores.
En el siguiente código, se muestra cómo transferir datos para su procesamiento. Estas muestras incluyen detalles sobre cómo controlar los datos de las imágenes, los archivos de video y las transmisiones de video en vivo.
De imagen
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(image).build()
Video
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage val argb8888Frame = if (frame.config == Bitmap.Config.ARGB_8888) frame else frame.copy(Bitmap.Config.ARGB_8888, false) // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(argb8888Frame).build()
Transmisión en vivo
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(rotatedBitmap).build()
En el código de ejemplo de Pose Landmarker, la preparación de los datos se controla en el archivo PoseLandmarkerHelper.kt
.
Ejecuta la tarea
Según el tipo de datos con los que trabajes, usa el método poseLandmarker.detect...()
específico para ese tipo de datos. Usa detect()
para imágenes individuales, detectForVideo()
para fotogramas en archivos de video y detectAsync()
para transmisiones de video por Internet. Cuando realices detecciones en una transmisión de video por Internet, asegúrate de ejecutarlas en un subproceso independiente para evitar bloquear el subproceso de interposición del usuario.
En las siguientes muestras de código, se presentan ejemplos simples de cómo ejecutar el marcador de posición en estos diferentes modos de datos:
De imagen
val result = poseLandmarker.detect(mpImage)
Video
val timestampMs = i * inferenceIntervalMs poseLandmarker.detectForVideo(mpImage, timestampMs) .let { detectionResult -> resultList.add(detectionResult) }
Transmisión en vivo
val mpImage = BitmapImageBuilder(rotatedBitmap).build() val frameTime = SystemClock.uptimeMillis() poseLandmarker.detectAsync(mpImage, frameTime)
Ten en cuenta lo siguiente:
- Cuando se ejecuta en modo de video o de transmisión en vivo, debes proporcionar la marca de tiempo del fotograma de entrada a la tarea Pose Landmarker.
- Cuando se ejecuta en el modo de imagen o video, la tarea Pose Landmarker bloquea el subproceso actual hasta que termina de procesar la imagen o el fotograma de entrada. Para evitar que se bloquee la interposición del usuario, ejecuta el procesamiento en un subproceso en segundo plano.
- Cuando se ejecuta en el modo de transmisión en vivo, la tarea de marcador de posición se muestra de inmediato y no bloquea el subproceso actual. Invocará el objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un marco de entrada.
En el código de ejemplo de Pose Landmarker, las funciones detect
, detectForVideo
y detectAsync
se definen en el archivo PoseLandmarkerHelper.kt
.
Cómo controlar y mostrar los resultados
El marcador de posición muestra un objeto poseLandmarkerResult
para cada ejecución de detección. El objeto Resultado contiene coordenadas para cada punto de referencia de la pose.
A continuación, se muestra un ejemplo de los datos de salida de esta tarea:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
El resultado contiene coordenadas normalizadas (Landmarks
) y coordenadas mundiales (WorldLandmarks
) para cada punto de referencia.
El resultado contiene las siguientes coordenadas normalizadas (Landmarks
):
x
yy
: Coordenadas del punto de referencia normalizadas entre 0.0 y 1.0 por el ancho (x
) y la altura (y
) de la imagen.z
: Es la profundidad del punto de referencia, con la profundidad en el punto medio de las caderas como origen. Cuanto menor sea el valor, más cerca estará el punto de referencia de la cámara. La magnitud de z usa más o menos la misma escala quex
.visibility
: Es la probabilidad de que el punto de referencia sea visible dentro de la imagen.
El resultado contiene las siguientes coordenadas mundiales (WorldLandmarks
):
x
,y
yz
: Coordenadas tridimensionales del mundo real en metros, con el punto medio de las caderas como origen.visibility
: Es la probabilidad de que el punto de referencia sea visible dentro de la imagen.
En la siguiente imagen, se muestra una visualización del resultado de la tarea:
La máscara de segmentación opcional representa la probabilidad de que cada píxel pertenezca a una persona detectada. La siguiente imagen es una máscara de segmentación del resultado de la tarea:
En el código de ejemplo de Pose Landmarker, se demuestra cómo mostrar los resultados que muestra la tarea. Consulta la clase OverlayView
para obtener más detalles.