Guide de détection des points de repère de position pour Android

La tâche MediaPipe Pose Markerer vous permet de détecter les points de repère de corps humain dans une image ou vidéo. Vous pouvez utiliser cette tâche pour identifier les emplacements clés du corps, analyser la posture, et catégoriser les mouvements. Cette tâche utilise des modèles de machine learning (ML) avec des images ou des vidéos uniques. La tâche génère des points de repère concernant les postures du corps dans une image en 3D et en 3D.

L'exemple de code décrit dans ces instructions est disponible sur GitHub Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'un repère de postures pour Android. L'exemple utilise l'appareil photo d'un appareil Android physique pour détecter des postures dans un flux vidéo continu. L'application peut également détecter les postures des images et des vidéos de la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer. lorsque vous modifiez une application existante. L'exemple de code Pose Markerer est hébergé GitHub

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code:

1. Clonez le dépôt Git à l'aide de la commande suivante:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Si vous le souhaitez, vous pouvez configurer votre instance Git pour utiliser le paiement creuse. Seuls les fichiers de l'application exemple Pose Markerer:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/pose_landmarker/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le Guide de configuration Android

Composants clés

Les fichiers suivants contiennent le code essentiel pour cet exemple de repère de pose application:

• PoseLandmarkerHelper.kt : initialise le repère de pose, et gère le modèle et le délégué. de votre choix.
• CameraFragment.kt : gère la caméra de l'appareil, et traite les données d'entrée d'image et de vidéo.
• GalleryFragment.kt : interagit avec OverlayView pour afficher l'image ou la vidéo de sortie.
• OverlayView.kt : implémente l'affichage pour les postures détectées.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement projets de code spécifiques pour utiliser Pose Markerer. Pour obtenir des informations générales sur configurer votre environnement de développement pour utiliser les tâches MediaPipe, y compris version de la plate-forme requise, consultez le guide de configuration Android

Dépendances

La tâche Pose Markerer utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajouter cette dépendance au fichier build.gradle de votre application Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Pose Benchmarker nécessite un bundle de modèles entraînés compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Pose Markerer, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Spécifiez le chemin d'accès du modèle dans le paramètre ModelAssetPath. Dans exemple de code, le modèle est défini dans PoseLandmarkerHelper.kt :

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

Créer la tâche

La tâche MediaPipe Pose Markerer utilise la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions() accepte les valeurs pour la configuration options. Pour plus d'informations sur les options de configuration, consultez la section Configuration options.

Le repère de postures prend en charge les types de données d'entrée suivants: images fixes, vidéos et les flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant au type de données d'entrée lors de la création de la tâche. Sélectionner l'onglet correspondant à votre type de données d'entrée pour découvrir comment créer la tâche.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

L'exemple d'implémentation de code Pose Markerer permet à l'utilisateur de passer d'une différents modes de traitement. L'approche rend le code de création de la tâche plus compliqué et peuvent ne pas être adaptés à votre cas d'utilisation. Ce code figure dans la fonction setupPoseLandmarker() dans PoseLandmarkerHelper.kt .

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications Android:

Préparer les données

Pose Markerer fonctionne avec des images, des fichiers vidéo et des flux vidéo en direct. La tâche gère le prétraitement de l'entrée des données, y compris le redimensionnement, la rotation et la valeur. normalisation.

Le code suivant montre comment transférer les données pour traitement. Ces les exemples incluent des détails sur la façon de traiter les données provenant d'images, de fichiers vidéo et flux vidéo.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Dans l'exemple de code Pose Markerer, la préparation des données est gérée dans le PoseLandmarkerHelper.kt .

Exécuter la tâche

Selon le type de données avec lesquelles vous travaillez, utilisez le Méthode poseLandmarker.detect...() spécifique à ce type de données. Utilisez detect() pour les images individuelles, detectForVideo() pour les images dans les fichiers vidéo et detectAsync() pour les flux vidéo. Lorsque vous effectuez des détections flux vidéo, veillez à exécuter les détections sur un thread distinct pour éviter bloquer le thread d'interposition de l'utilisateur.

Les exemples de code suivants illustrent des exemples simples d'exécution de Pose Markerer dans ces différents modes de données:

val result = poseLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)
    

Veuillez noter les points suivants :

• En mode vidéo ou flux en direct, vous devez indiquer le paramètre code temporel de la trame d'entrée à la tâche Pose Markerer.
• Lors de l'exécution en mode image ou vidéo, la tâche "Repère de posture" bloque le thread actuel jusqu'à ce qu'il ait fini de traiter l'image ou le frame d'entrée. À éviter de bloquer l'interposition de l'utilisateur, exécuter le traitement en arrière-plan thread.
• En mode diffusion en direct, la tâche Pose Markerer renvoie immédiatement et ne bloque pas le thread actuel. Elle appellera le résultat avec le résultat de la détection chaque fois que le traitement d'une trame d'entrée.

Dans l'exemple de code Pose Markerer, les champs detect, detectForVideo et Les fonctions detectAsync sont définies dans PoseLandmarkerHelper.kt .

Gérer et afficher les résultats

Le repère de postures renvoie un objet poseLandmarkerResult pour chaque détection. exécuter. L'objet de résultat contient les coordonnées de chaque point de repère de la position.

Voici un exemple de données de sortie de cette tâche:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

La sortie contient à la fois les coordonnées normalisées (Landmarks) et le monde coordonnées (WorldLandmarks) de chaque point de repère.

La sortie contient les coordonnées normalisées suivantes (Landmarks):

• x et y: coordonnées des points de repère normalisées entre 0,0 et 1,0 par le la largeur (x) et la hauteur (y) de l'image.

• z: profondeur du point de repère, la profondeur au milieu des hanches origine. Plus la valeur est faible, plus le point de repère est proche de la caméra. La la magnitude de z utilise à peu près la même échelle que x.

• visibility: probabilité que le point de repère soit visible dans l'image.

La sortie contient les coordonnées mondiales suivantes (WorldLandmarks):

• x, y et z: coordonnées tridimensionnelles du monde réel en mètres, avec l'attribut le milieu des hanches comme origine.

• visibility: probabilité que le point de repère soit visible dans l'image.

L'image suivante montre une visualisation du résultat de la tâche:

Le masque de segmentation facultatif représente la probabilité que chaque pixel appartienne à une personne détectée. L'image suivante montre un masque de segmentation résultat de la tâche:

L'exemple de code Pose Markerer montre comment afficher les résultats renvoyés. de la tâche, consultez les OverlayView pour en savoir plus.