Guide de détection des points de repère de visage pour Android

La tâche MediaPipe Face Landmarker vous permet de détecter les points de repère et les expressions faciales dans les images et les vidéos. Vous pouvez utiliser cette tâche pour identifier les expressions faciales humaines, appliquer des filtres et des effets faciaux, et créer des avatars virtuels. Cette tâche utilise des modèles de machine learning (ML) qui peuvent fonctionner avec des images uniques ou un flux continu d'images. La tâche génère des points de repère faciaux en trois dimensions, des scores de blendshape (coefficients représentant l'expression faciale) pour déduire des surfaces faciales détaillées en temps réel, ainsi que des matrices de transformation pour effectuer les transformations requises pour le rendu des effets.

L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'une application Face Landmarker pour Android. L'exemple utilise l'appareil photo d'un appareil Android physique pour détecter les visages dans un flux vidéo continu. L'application peut également détecter les visages dans les images et les vidéos de la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer lorsque vous modifiez une application existante. L'exemple de code Face Landmarker est hébergé sur GitHub.

Télécharger le code

Les instructions suivantes vous montrent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code :

1. Clonez le dépôt Git à l'aide de la commande suivante :

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Vous pouvez éventuellement configurer votre instance Git pour qu'elle utilise l'extraction éparse. Vous n'aurez ainsi que les fichiers de l'exemple d'application Face Landmarker :

   cd mediapipe-samples
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_landmarker/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.

Composants clés

Les fichiers suivants contiennent le code essentiel pour cet exemple d'application de repérage de visages :

• FaceLandmarkerHelper.kt : initialise le repère facial et gère la sélection du modèle et du délégué.
• CameraFragment.kt : gère la caméra de l'appareil et traite les données d'entrée d'image et de vidéo.
• GalleryFragment.kt : interagit avec OverlayView pour afficher l'image ou la vidéo de sortie.
• OverlayView.kt : implémente l'affichage avec un maillage facial pour les visages détectés.

Configuration

Cette section décrit les étapes clés pour configurer votre environnement de développement et vos projets de code afin d'utiliser Face Landmarker. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris les exigences concernant la version de la plate-forme, consultez le guide de configuration pour Android.

Dépendances

La tâche Face Landmarker utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajoutez cette dépendance au fichier build.gradle de votre application Android :

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Face Landmarker nécessite un bundle de modèles entraînés compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Face Landmarker, consultez la section Modèles de la présentation de la tâche.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet :

<dev-project-root>/src/main/assets

Spécifiez le chemin d'accès au modèle dans le paramètre ModelAssetPath. Dans l'exemple de code, le modèle est défini dans le fichier FaceLandmarkerHelper.kt :

baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)

Créer la tâche

La tâche MediaPipe Face Landmarker utilise la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions() accepte les valeurs des options de configuration. Pour en savoir plus sur les options de configuration, consultez Options de configuration.

Le Face Landmarker accepte les types de données d'entrée suivants : images fixes, fichiers vidéo et flux vidéo en direct. Lorsque vous créez la tâche, vous devez spécifier le mode d'exécution correspondant à votre type de données d'entrée. Sélectionnez l'onglet correspondant à votre type de données d'entrée pour découvrir comment créer la tâche et exécuter l'inférence.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

L'implémentation de l'exemple de code Face Landmarker permet à l'utilisateur de basculer entre les modes de traitement. Cette approche complique le code de création de tâches et peut ne pas être adaptée à votre cas d'utilisation. Vous pouvez voir ce code dans la fonction setupFaceLandmarker() du fichier FaceLandmarkerHelper.kt.

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications Android :

Préparer les données

Le détecteur de points de repère du visage fonctionne avec les images, les fichiers vidéo et les flux vidéo en direct. La tâche gère le prétraitement des données d'entrée, y compris le redimensionnement, la rotation et la normalisation des valeurs.

Le code suivant montre comment transférer des données pour traitement. Ces exemples incluent des informations sur la façon de gérer les données provenant d'images, de fichiers vidéo et de flux vidéo en direct.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Dans l'exemple de code Face Landmarker, la préparation des données est gérée dans le fichier FaceLandmarkerHelper.kt.

Exécuter la tâche

En fonction du type de données avec lequel vous travaillez, utilisez la méthode FaceLandmarker.detect...() spécifique à ce type de données. Utilisez detect() pour les images individuelles, detectForVideo() pour les images dans les fichiers vidéo et detectAsync() pour les flux vidéo. Lorsque vous effectuez des détections sur un flux vidéo, assurez-vous de les exécuter sur un thread distinct pour éviter de bloquer le thread de l'interface utilisateur.

Les exemples de code suivants montrent des exemples simples d'exécution de Face Landmarker dans ces différents modes de données :

val result = FaceLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

FaceLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

FaceLandmarker.detectAsync(mpImage, frameTime)
    

Veuillez noter les points suivants :

• Lorsque vous exécutez la tâche dans le mode vidéo ou le mode diffusion en direct, vous devez fournir le code temporel du frame d'entrée à la tâche Face Landmarker.
• Lorsqu'elle s'exécute en mode image ou vidéo, la tâche Face Landmarker bloque le thread actuel jusqu'à ce qu'elle ait fini de traiter l'image ou le frame d'entrée. Pour éviter de bloquer l'interface utilisateur, exécutez le traitement dans un thread en arrière-plan.
• Lorsqu'elle est exécutée en mode flux en direct, la tâche Face Landmarker renvoie immédiatement un résultat et ne bloque pas le thread actuel. Il appellera l'écouteur de résultats avec le résultat de la détection chaque fois qu'il aura fini de traiter un frame d'entrée.

Dans l'exemple de code Face Landmarker, les fonctions detect, detectForVideo et detectAsync sont définies dans le fichier FaceLandmarkerHelper.kt.

Gérer et afficher les résultats

Le repère facial renvoie un objet FaceLandmarkerResult pour chaque détection exécutée. L'objet de résultat contient un maillage facial pour chaque visage détecté, avec les coordonnées de chaque point de repère du visage. L'objet de résultat peut également contenir des blendshapes (qui désignent les expressions faciales) et des matrices de transformation faciale permettant d'appliquer des effets de visage sur les points de repère détectés.

Voici un exemple des données de sortie de cette tâche :

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

L'image suivante montre une visualisation du résultat de la tâche :

L'exemple de code Face Landmarker montre comment afficher les résultats renvoyés par la tâche. Pour en savoir plus, consultez la classe OverlayView.