Guide de détection des points de repère

Tâche de reconnaissance faciale

La tâche MediaPipe Face Marker vous permet de détecter des points de repère et des expressions faciales dans des images et des vidéos. Vous pouvez utiliser cette tâche pour identifier des expressions du visage, appliquer des filtres et des effets de visage, et créer des avatars virtuels. Cette tâche utilise des modèles de machine learning (ML) pouvant fonctionner avec des images uniques ou un flux continu d'images. La tâche génère des points de repère de visage tridimensionnels, des scores Blendshape (coefficients représentant l'expression faciale) pour déduire les surfaces faciales détaillées en temps réel, ainsi que des matrices de transformation pour effectuer les transformations requises pour le rendu des effets.

Essayer

Commencer

Commencez à utiliser cette tâche en suivant l'un des guides d'implémentation correspondant à votre plate-forme cible. Ces guides spécifiques à la plate-forme vous guident tout au long d'une implémentation de base de cette tâche, y compris un modèle et un exemple de code recommandés, ainsi que les options de configuration recommandées:

Détails de la tâche

Cette section décrit les capacités, les entrées, les sorties et les options de configuration de cette tâche.

Caractéristiques

  • Traitement de l'image d'entrée : le traitement comprend la rotation, le redimensionnement, la normalisation et la conversion de l'espace colorimétrique de l'image.
  • Seuil de score : filtre les résultats en fonction des scores de prédiction.
Entrées des tâches Sorties de tâches
Le service de repère de visage accepte l'un des types de données suivants:
  • Images fixes
  • Images vidéo décodées
  • Flux vidéo en direct
L'outil de reconnaissance de visage génère les résultats suivants:
  • Cadres de délimitation pour les visages détectés dans un cadre d'image.
  • Un maillage complet pour chaque visage détecté, avec des scores de fusion qui indiquent les expressions faciales et les coordonnées des repères faciaux

Options de configuration

Cette tâche comporte les options de configuration suivantes:

Nom de l'option Description Plage de valeurs Valeur par défaut
running_mode Définit le mode d'exécution de la tâche. Il existe trois modes:

IMAGE: mode pour les entrées d'une seule image.

VIDEO: mode pour les images décodées d'une vidéo.

LIVE_STREAM: mode de diffusion en direct de données d'entrée, issues par exemple d'une caméra. Dans ce mode, resultListener doit être appelé pour configurer un écouteur afin de recevoir les résultats de manière asynchrone.
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_faces Nombre maximal de visages pouvant être détectés par la propriété FaceLandmarker. Le lissage n'est appliqué que lorsque num_faces est défini sur 1. Integer > 0 1
min_face_detection_confidence Score de confiance minimal pour que la détection de visages soit considérée comme réussie. Float [0.0,1.0] 0.5
min_face_presence_confidence Score de confiance minimal du score de présence de visage dans la détection des points de repère de visage. Float [0.0,1.0] 0.5
min_tracking_confidence Score de confiance minimal pour que le suivi du visage soit considéré comme réussi. Float [0.0,1.0] 0.5
output_face_blendshapes Indique si l'outil de repère de visage génère des combinaisons de visages. Les combinaisons de visage sont utilisées pour afficher le modèle de visage 3D. Boolean False
output_facial_transformation_matrixes Indique si FaceLandMarker génère la matrice de transformation du visage. FaceLandMarker utilise la matrice pour transformer les points de repère de visage d'une empreinte faciale canonique en visage détecté, afin que les utilisateurs puissent appliquer des effets sur ces points de repère. Boolean False
result_callback Définit l'écouteur de résultats pour recevoir les résultats du point de repère de manière asynchrone lorsque FaceLandMarker est en mode de diffusion en direct. Ne peut être utilisé que lorsque le mode En cours d'exécution est défini sur LIVE_STREAM ResultListener N/A

Modèles

Cet outil utilise une série de modèles pour prédire les points de repère de visage. Le premier modèle détecte les visages, un deuxième modèle localise les points de repère sur les visages détectés, et un troisième modèle les utilise pour identifier les caractéristiques et les expressions du visage.

Les modèles suivants sont empaquetés dans un lot de modèles téléchargeable:

  • Modèle de détection de visages: détecte la présence de visages à l'aide de quelques points de repère faciales clés.
  • Modèle du maillage de visages: ajoute un mappage complet du visage. Le modèle génère une estimation de 478 points de repère de face tridimensionnels.
  • Modèle de prédiction Blendshape: reçoit les résultats du modèle de maillage de visages. Il prédit 52 scores Blendshape, qui sont des coefficients représentant différentes expressions faciales.

Le modèle de détection de visages est le modèle BlazeFace à courte portée, un détecteur de visages léger et précis optimisé pour l'inférence GPU sur mobile. Pour en savoir plus, consultez la section Détecteur de visages.

L'image ci-dessous montre une cartographie complète des points de repère faciaux à partir de la sortie du groupe de modèles.

Faire face à des points-clés du repère

Pour une vue plus détaillée des points de repère de visage, consultez l'image en taille réelle.

Lot de modèles Forme de saisie Type de données Fiches de modèle Versions
FaceLandmarker FaceDetector: 192 x 192
FaceMesh-V2: 256 x 256
Blendshape: 1 x 146 x 2
nombre décimal 16 FaceDetector
FaceMesh-V2
Blendshape
Les plus récents