Guide de détection des points de repère de visage pour Android

La tâche MediaPipe Face Marker vous permet de détecter des points de repère et des expressions faciales dans des images et des vidéos. Vous pouvez utiliser cette tâche pour identifier des expressions du visage, appliquer des filtres et des effets de visage, et créer des avatars virtuels. Cette tâche utilise des modèles de machine learning (ML) pouvant fonctionner avec des images uniques ou un flux continu d'images. La tâche génère des points de repère de visage tridimensionnels, des scores Blendshape (coefficients représentant l'expression faciale) pour déduire les surfaces faciales détaillées en temps réel, ainsi que des matrices de transformation pour effectuer les transformations requises pour le rendu des effets.

L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'une application de repère de visage pour Android. Cet exemple utilise la caméra d'un appareil Android physique pour détecter les visages dans un flux vidéo en continu. L'application peut également détecter les visages dans les images et les vidéos de la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android, ou vous y référer lorsque vous modifiez une application existante. L'exemple de code Face Markerer est hébergé sur GitHub.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code, procédez comme suit:

1. Clonez le dépôt git à l'aide de la commande suivante :

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Si vous le souhaitez, vous pouvez configurer votre instance Git pour utiliser le paiement creux afin de n'avoir que les fichiers de l'application exemple Face Marker :

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_landmarker/android
   

   .

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.

Composants clés

Les fichiers suivants contiennent le code crucial pour cet exemple d'application de repère de visage:

• FaceLandmarkerHelper.kt : initialise l'outil de repère de visage, et gère la sélection du modèle et des délégués.
• CameraFragment.kt : gère l'appareil photo de l'appareil et traite les données d'entrée d'image et de vidéo.
• GalleryFragment.kt : interagit avec OverlayView pour afficher l'image ou la vidéo de sortie.
• OverlayView.kt : implémente l'écran avec une grille faciale pour détecter les visages.

Préparation

Cette section décrit les étapes clés de la configuration de votre environnement de développement et de vos projets de code spécifiquement pour l'utilisation du service de repère de visage. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris sur les exigences de version de la plate-forme, consultez le guide de configuration pour Android.

Dépendances

La tâche "Outil de repère de visage" utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajoutez cette dépendance au fichier build.gradle de votre application Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Face Marker nécessite un groupe de modèles entraînés compatibles avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour l'outil de repère de visage, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Spécifiez le chemin d'accès du modèle dans le paramètre ModelAssetPath. Dans l'exemple de code, le modèle est défini dans le fichier FaceLandmarkerHelper.kt:

baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)

Créer la tâche

La tâche MediaPipe Face Marker utilise la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions() accepte des valeurs pour les options de configuration. Pour en savoir plus sur les options de configuration, consultez la section Options de configuration.

Il accepte les types de données d'entrée suivants: images fixes, fichiers vidéo et flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant à votre type de données d'entrée lors de la création de la tâche. Choisissez l'onglet correspondant au type de données d'entrée pour voir comment créer la tâche et exécuter l'inférence.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

L'exemple de code de l'outil de repère de visage permet à l'utilisateur de basculer entre les modes de traitement. Cette approche complique le code de création de la tâche et peut ne pas être adaptée à votre cas d'utilisation. Vous pouvez voir ce code dans la fonction setupFaceLandmarker() du fichier FaceLandmarkerHelper.kt.

Options de configuration

Cette tâche dispose des options de configuration suivantes pour les applications Android:

Préparation des données

Face Marker fonctionne avec des images, des fichiers vidéo et des flux vidéo en direct. Cette tâche gère le prétraitement des entrées de données, y compris le redimensionnement, la rotation et la normalisation de la valeur.

Le code suivant montre comment transférer des données pour traitement. Ces exemples incluent des détails sur la façon de gérer les données des images, des fichiers vidéo et des flux vidéo en direct.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Dans l'exemple de code de l'outil de repères de visage, la préparation des données est gérée dans le fichier FaceLandmarkerHelper.kt.

Exécuter la tâche

Selon le type de données que vous utilisez, utilisez la méthode FaceLandmarker.detect...() spécifique à ce type de données. Utilisez detect() pour les images individuelles, detectForVideo() pour les images des fichiers vidéo et detectAsync() pour les flux vidéo. Lorsque vous effectuez des détections sur un flux vidéo, veillez à les exécuter sur un thread distinct pour éviter de bloquer le thread de l'interface utilisateur.

Les exemples de code suivants illustrent des exemples simples d'exécution du service de repère de visage dans ces différents modes de données:

val result = FaceLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

FaceLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

FaceLandmarker.detectAsync(mpImage, frameTime)
    

Veuillez noter les points suivants :

• Lors de l'exécution en mode vidéo ou en mode de diffusion en direct, vous devez fournir l'horodatage du frame d'entrée à la tâche de l'outil de repère de visage.
• Lors de l'exécution en mode image ou vidéo, la tâche du repère de visage bloque le thread actuel jusqu'à ce qu'elle ait fini de traiter l'image ou le cadre d'entrée. Pour éviter de bloquer l'interface utilisateur, exécutez le traitement dans un thread d'arrière-plan.
• Lors de son exécution en mode de diffusion en direct, la tâche "Face Marker" est renvoyée immédiatement et ne bloque pas le thread actuel. Il appelle l'écouteur de résultat avec le résultat de la détection chaque fois qu'il termine le traitement d'une trame d'entrée.

Dans l'exemple de code de l'outil de repères de visage, les fonctions detect, detectForVideo et detectAsync sont définies dans le fichier FaceLandmarkerHelper.kt.

Gérer et afficher les résultats

L'outil de détection de visages renvoie un objet FaceLandmarkerResult pour chaque exécution de détection. L'objet de résultat contient un maillage de visages pour chaque visage détecté, avec des coordonnées pour chaque point de repère de visage. L'objet de résultat peut éventuellement contenir des matrices de fusion, qui indiquent des expressions faciales, et des matrices de transformation du visage pour appliquer les effets sur les points de repère détectés.

Voici un exemple des données de sortie de cette tâche:

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

L'image suivante montre une visualisation du résultat de la tâche:

L'exemple de code de l'outil de repères de visage montre comment afficher les résultats renvoyés par la tâche. Pour en savoir plus, consultez la classe OverlayView.