Guide de détection des points de repère de visage pour Android

La tâche MediaPipe Face Markerer vous permet de détecter des repères de visage et des expressions faciales dans des images et des vidéos. Vous pouvez l'utiliser pour identifier des expressions faciales, appliquer des filtres et des effets sur le visage, créer des avatars virtuels, etc. Cette tâche utilise des modèles de machine learning (ML) capables de fonctionner avec des images uniques ou un pipeline d'images. La tâche génère des repères de visage en 3 dimensions, "Blendshape" (coefficients représentant l'expression faciale) pour déduire des expressions faciales détaillées surfaces en temps réel, et des matrices de transformation pour effectuer la et les transformations requises pour le rendu des effets.

L'exemple de code décrit dans ces instructions est disponible sur GitHub Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'un repère de visage. pour Android. L'exemple utilise l'appareil photo d'un appareil Android physique pour détecter les visages dans un flux vidéo en continu L'application peut également détecter les visages dans des images et des vidéos de la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer. lorsque vous modifiez une application existante. L'exemple de code Face Markerer est hébergé sur GitHub

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code:

1. Clonez le dépôt Git à l'aide de la commande suivante:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Si vous le souhaitez, vous pouvez configurer votre instance Git pour utiliser le paiement creuse. Seuls les fichiers de l'application exemple Face Markerer:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_landmarker/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le Guide de configuration Android

Composants clés

Les fichiers suivants contiennent le code essentiel pour cet exemple de balisage de visage application:

• FaceLandmarkerHelper.kt : initialise le repère de visage, et gère le modèle et le délégué de votre choix.
• CameraFragment.kt : gère la caméra de l'appareil, et traite les données d'entrée d'image et de vidéo.
• GalleryFragment.kt : interagit avec OverlayView pour afficher l'image ou la vidéo de sortie.
• OverlayView.kt : implémente l'affichage avec un maillage pour les visages détectés.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement des projets de codage spécifiquement pour utiliser Face Markerer. Pour obtenir des informations générales sur configurer votre environnement de développement pour utiliser les tâches MediaPipe, y compris version de la plate-forme requise, consultez le guide de configuration Android

Dépendances

La tâche Face Markerer utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajouter cette dépendance au fichier build.gradle de votre application Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Face Markers nécessite un bundle de modèles entraînés et compatibles avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Face Markerer, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Spécifiez le chemin d'accès du modèle dans le paramètre ModelAssetPath. Dans exemple de code, le modèle est défini dans FaceLandmarkerHelper.kt :

baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)

Créer la tâche

La tâche MediaPipe Face Markerer utilise la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions() accepte les valeurs pour la configuration options. Pour plus d'informations sur les options de configuration, consultez la section Configuration options.

Face Markerer prend en charge les types de données d'entrée suivants: images fixes, vidéos et les flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant au type de données d'entrée lors de la création de la tâche. Sélectionner l'onglet correspondant à votre type de données d'entrée pour découvrir comment créer la tâche et l'exécuter l'inférence.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

L'exemple d'implémentation de code Face Markerer permet à l'utilisateur de passer différents modes de traitement. L'approche rend le code de création de la tâche plus compliqué et peuvent ne pas être adaptés à votre cas d'utilisation. Ce code figure dans la fonction setupFaceLandmarker() dans FaceLandmarkerHelper.kt .

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications Android:

Préparer les données

Face Markerer fonctionne avec des images, des fichiers vidéo et des flux vidéo en direct. La tâche gère le prétraitement de l'entrée des données, y compris le redimensionnement, la rotation et la valeur. normalisation.

Le code suivant montre comment transférer les données pour traitement. Ces les exemples incluent des détails sur la façon de traiter les données provenant d'images, de fichiers vidéo et flux vidéo.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Dans l'exemple de code Face Markerer, la préparation des données est gérée dans le FaceLandmarkerHelper.kt .

Exécuter la tâche

Selon le type de données avec lesquelles vous travaillez, utilisez le FaceLandmarker.detect...() spécifique à ce type de données. Utilisez detect() pour les images individuelles, detectForVideo() pour les images dans les fichiers vidéo et detectAsync() pour les flux vidéo. Lorsque vous effectuez des détections flux vidéo, veillez à exécuter les détections sur un thread distinct pour éviter bloquant le thread de l'interface utilisateur.

Les exemples de code suivants illustrent des exemples simples d'exécution de Face Markerer. dans ces différents modes de données:

val result = FaceLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

FaceLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

FaceLandmarker.detectAsync(mpImage, frameTime)
    

Veuillez noter les points suivants :

• En mode vidéo ou flux en direct, vous devez indiquer le paramètre code temporel de la trame d'entrée à la tâche Face Markerer.
• Lors de l'exécution en mode image ou vidéo, la tâche Face Markerer bloque le thread actuel jusqu'à ce qu'il ait fini de traiter l'image ou le frame d'entrée. À éviter de bloquer l'interface utilisateur, exécuter le traitement en arrière-plan thread.
• En mode diffusion en direct, la tâche Face Markerer renvoie immédiatement et ne bloque pas le thread actuel. Elle appellera le résultat avec le résultat de la détection chaque fois que le traitement d'une trame d'entrée.

Dans l'exemple de code Face Markerer, les champs detect, detectForVideo et Les fonctions detectAsync sont définies dans FaceLandmarkerHelper.kt .

Gérer et afficher les résultats

Le repère de visage renvoie un objet FaceLandmarkerResult pour chaque détection exécuter. L'objet du résultat contient une grille pour chaque visage détecté, avec les coordonnées géographiques de chaque repère de visage. L'objet de résultat peut aussi contiennent des mélanges de formes, qui représentent les expressions faciales et une matrices de transformation pour appliquer des effets de visage aux points de repère détectés.

Voici un exemple de données de sortie de cette tâche:

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

L'image suivante montre une visualisation du résultat de la tâche:

L'exemple de code Face Markerer montre comment afficher les résultats renvoyés. de la tâche, consultez les OverlayView pour en savoir plus.