La tâche MediaPipe Pose Marker vous permet de détecter les points de repère de corps humains dans une image ou une vidéo. Vous pouvez utiliser cette tâche pour identifier des emplacements clés du corps, analyser la posture et classer les mouvements. Cette tâche utilise des modèles de machine learning (ML) fonctionnant avec des images ou des vidéos uniques. La tâche génère des points de repère de pose du corps sous forme de coordonnées d'image et en coordonnées mondiales en 3D.
L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.
Exemple de code
L'exemple de code MediaPipe Tasks est une implémentation simple d'une application Pose Marker pour Android. L'exemple utilise la caméra d'un appareil Android physique pour détecter des postures dans un flux vidéo en continu. L'application peut également détecter les postures dans les images et les vidéos de la galerie de l'appareil.
Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer lorsque vous modifiez une application existante. L'exemple de code Pose Repère est hébergé sur GitHub.
Télécharger le code
Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.
Pour télécharger l'exemple de code, procédez comme suit:
- Clonez le dépôt git à l'aide de la commande suivante :
git clone https://github.com/google-ai-edge/mediapipe-samples
- Vous pouvez éventuellement configurer votre instance Git pour utiliser le paiement creux afin de n'avoir que les fichiers de l'application exemple Pose Marker :
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/pose_landmarker/android
Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.
Composants clés
Les fichiers suivants contiennent le code crucial pour cet exemple d'application de repère de posture:
- PoseLandmarkerHelper.kt initialise le repère de position, et gère le modèle et la sélection du délégué.
- CameraFragment.kt : gère l'appareil photo de l'appareil et traite les données d'entrée d'image et de vidéo.
- GalleryFragment.kt : interagit avec
OverlayView
pour afficher l'image ou la vidéo de sortie. - OverlayView.kt : implémente l'affichage pour les postures détectées.
Préparation
Cette section décrit les étapes clés de la configuration de votre environnement de développement et de vos projets de code spécifiquement pour l'utilisation de Pose Marker. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris sur les exigences de version de la plate-forme, consultez le guide de configuration pour Android.
Dépendances
La tâche "Pose Marker" utilise la bibliothèque com.google.mediapipe:tasks-vision
. Ajoutez cette dépendance au fichier build.gradle
de votre application Android:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Modèle
La tâche MediaPipe Pose Marker nécessite un groupe de modèles entraînés compatibles avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le repère de postures, consultez la section Modèles de la présentation des tâches.
Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:
<dev-project-root>/src/main/assets
Spécifiez le chemin d'accès du modèle dans le paramètre ModelAssetPath
. Dans l'exemple de code, le modèle est défini dans le fichier PoseLandmarkerHelper.kt
:
val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)
Créer la tâche
La tâche MediaPipe Pose Marker utilise la fonction createFromOptions()
pour configurer la tâche. La fonction createFromOptions()
accepte des valeurs pour les options de configuration. Pour en savoir plus sur les options de configuration, consultez la section Options de configuration.
Il accepte les types de données d'entrée suivants: images fixes, fichiers vidéo et flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant à votre type de données d'entrée lors de la création de la tâche. Choisissez l'onglet correspondant à votre type de données d'entrée pour voir comment créer la tâche.
Images
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.IMAGE) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Vidéo
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.VIDEO) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Diffusion en direct
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setResultListener(this::returnLivestreamResult) .setErrorListener(this::returnLivestreamError) .setRunningMode(RunningMode.LIVE_STREAM) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
L'exemple de code de l'exemple de code de repère de position permet à l'utilisateur de basculer entre les modes de traitement. Cette approche complique le code de création de la tâche et peut ne pas être adaptée à votre cas d'utilisation. Vous pouvez voir ce code dans la fonction setupPoseLandmarker()
du fichier PoseLandmarkerHelper.kt
.
Options de configuration
Cette tâche dispose des options de configuration suivantes pour les applications Android:
Nom de l'option | Description | Plage de valeurs | Valeur par défaut |
---|---|---|---|
runningMode |
Définit le mode d'exécution de la tâche. Il existe trois modes: IMAGE: mode pour les entrées d'une seule image. VIDEO: mode pour les images décodées d'une vidéo. LIVE_STREAM: mode de diffusion en direct de données d'entrée, issues par exemple d'une caméra. Dans ce mode, resultListener doit être appelé pour configurer un écouteur afin de recevoir les résultats de manière asynchrone. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
numposes |
Nombre maximal de postures pouvant être détectées par le repère de posture. | Integer > 0 |
1 |
minPoseDetectionConfidence |
Score de confiance minimal pour que la détection de poses soit considérée comme réussie. | Float [0.0,1.0] |
0.5 |
minPosePresenceConfidence |
Score de confiance minimal du score de présence de posture dans la détection des points de repère de pose. | Float [0.0,1.0] |
0.5 |
minTrackingConfidence |
Score de confiance minimal pour que le suivi des postures soit considéré comme une réussite. | Float [0.0,1.0] |
0.5 |
outputSegmentationMasks |
Indique si le repère de posture génère un masque de segmentation pour la posture détectée. | Boolean |
False |
resultListener |
Définit l'écouteur de résultats de sorte qu'il reçoive les résultats du repère de manière asynchrone lorsque la pose est en mode de diffusion en direct.
Ne peut être utilisé que lorsque le mode En cours d'exécution est défini sur LIVE_STREAM |
ResultListener |
N/A |
errorListener |
Définit un écouteur d'erreurs facultatif. | ErrorListener |
N/A |
Préparation des données
Pose Markerer fonctionne avec des images, des fichiers vidéo et des flux vidéo en direct. Cette tâche gère le prétraitement des entrées de données, y compris le redimensionnement, la rotation et la normalisation de la valeur.
Le code suivant montre comment transférer des données pour traitement. Ces exemples incluent des détails sur la façon de gérer les données des images, des fichiers vidéo et des flux vidéo en direct.
Images
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(image).build()
Vidéo
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage val argb8888Frame = if (frame.config == Bitmap.Config.ARGB_8888) frame else frame.copy(Bitmap.Config.ARGB_8888, false) // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(argb8888Frame).build()
Diffusion en direct
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(rotatedBitmap).build()
Dans l'exemple de code Pose Markerer, la préparation des données est gérée dans le fichier PoseLandmarkerHelper.kt
.
Exécuter la tâche
Selon le type de données que vous utilisez, utilisez la méthode poseLandmarker.detect...()
spécifique à ce type de données. Utilisez detect()
pour les images individuelles, detectForVideo()
pour les images des fichiers vidéo et detectAsync()
pour les flux vidéo. Lorsque vous effectuez des détections sur un flux vidéo, veillez à les exécuter sur un thread distinct pour éviter de bloquer le thread d'interpose de l'utilisateur.
Les exemples de code suivants illustrent des exemples simples d'exécution de Pose Markerer dans ces différents modes de données:
Images
val result = poseLandmarker.detect(mpImage)
Vidéo
val timestampMs = i * inferenceIntervalMs poseLandmarker.detectForVideo(mpImage, timestampMs) .let { detectionResult -> resultList.add(detectionResult) }
Diffusion en direct
val mpImage = BitmapImageBuilder(rotatedBitmap).build() val frameTime = SystemClock.uptimeMillis() poseLandmarker.detectAsync(mpImage, frameTime)
Veuillez noter les points suivants :
- Lors de l'exécution en mode vidéo ou en mode de diffusion en direct, vous devez fournir l'horodatage du frame d'entrée à la tâche "Pose référenceer".
- Lors de l'exécution en mode image ou vidéo, la tâche "Pose Marker" bloque le thread actuel jusqu'à ce qu'il ait terminé le traitement de l'image ou du cadre d'entrée. Pour éviter de bloquer l'intervention de l'utilisateur, exécutez le traitement dans un thread d'arrière-plan.
- Lors de son exécution en mode de diffusion en direct, la tâche "Pose Marker" est renvoyée immédiatement et ne bloque pas le thread actuel. Il appelle l'écouteur de résultat avec le résultat de la détection chaque fois qu'il termine le traitement d'une trame d'entrée.
Dans l'exemple de code de l'outil Pose Marker, les fonctions detect
, detectForVideo
et detectAsync
sont définies dans le fichier PoseLandmarkerHelper.kt
.
Gérer et afficher les résultats
L'outil de repère de position renvoie un objet poseLandmarkerResult
pour chaque exécution de détection. L'objet de résultat contient les coordonnées de chaque point de repère de la pose.
Voici un exemple des données de sortie de cette tâche:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
La sortie contient à la fois des coordonnées normalisées (Landmarks
) et des coordonnées mondiales (WorldLandmarks
) pour chaque point de repère.
La sortie contient les coordonnées normalisées suivantes (Landmarks
):
x
ety
: coordonnées du point de repère normalisées entre 0,0 et 1,0 en fonction de la largeur (x
) et de la hauteur (y
) de l'image.z
: profondeur du point de repère, avec la profondeur au milieu des hanches comme point de départ. Plus la valeur est faible, plus le point de repère est proche de la caméra. La magnitude de z est à peu près identique à celle dex
.visibility
: probabilité que le point de repère soit visible dans l'image.
Le résultat contient les coordonnées mondiales suivantes (WorldLandmarks
):
x
,y
etz
: coordonnées tridimensionnelles réelles en mètres, avec le point médian des hanches comme point de départ.visibility
: probabilité que le point de repère soit visible dans l'image.
L'image suivante montre une visualisation du résultat de la tâche:
Le masque de segmentation facultatif représente la probabilité que chaque pixel appartienne à une personne détectée. L'image suivante montre un masque de segmentation du résultat de la tâche:
L'exemple de code "Pose Markerer" montre comment afficher les résultats renvoyés par la tâche. Pour en savoir plus, consultez la classe OverlayView
.