La tâche MediaPipe Face Marker vous permet de détecter des points de repère et des expressions faciales dans des images et des vidéos. Vous pouvez utiliser cette tâche pour identifier des expressions du visage, appliquer des filtres et des effets de visage, et créer des avatars virtuels. Cette tâche utilise des modèles de machine learning (ML) pouvant fonctionner avec des images uniques ou un flux continu d'images. La tâche génère des points de repère de visage tridimensionnels, des scores Blendshape (coefficients représentant l'expression faciale) pour déduire les surfaces faciales détaillées en temps réel, ainsi que des matrices de transformation pour effectuer les transformations requises pour le rendu des effets.
Commencer
Commencez à utiliser cette tâche en suivant l'un des guides d'implémentation correspondant à votre plate-forme cible. Ces guides spécifiques à la plate-forme vous guident tout au long d'une implémentation de base de cette tâche, y compris un modèle et un exemple de code recommandés, ainsi que les options de configuration recommandées:
- Android – Exemple de code – Guide
- Python – Exemple de code – Guide
- Web – Exemple de code – Guide
Détails de la tâche
Cette section décrit les capacités, les entrées, les sorties et les options de configuration de cette tâche.
Caractéristiques
- Traitement de l'image d'entrée : le traitement comprend la rotation, le redimensionnement, la normalisation et la conversion de l'espace colorimétrique de l'image.
- Seuil de score : filtre les résultats en fonction des scores de prédiction.
| Entrées des tâches | Sorties de tâches |
|---|---|
Le service de repère de visage accepte l'un des types de données suivants:
|
L'outil de reconnaissance de visage génère les résultats suivants:
|
Options de configuration
Cette tâche comporte les options de configuration suivantes:
| Nom de l'option | Description | Plage de valeurs | Valeur par défaut |
|---|---|---|---|
running_mode |
Définit le mode d'exécution de la tâche. Il existe trois modes: IMAGE: mode pour les entrées d'une seule image. VIDEO: mode pour les images décodées d'une vidéo. LIVE_STREAM: mode de diffusion en direct de données d'entrée, issues par exemple d'une caméra. Dans ce mode, resultListener doit être appelé pour configurer un écouteur afin de recevoir les résultats de manière asynchrone. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
Nombre maximal de visages pouvant être détectés par la propriété FaceLandmarker. Le lissage n'est appliqué que lorsque num_faces est défini sur 1.
|
Integer > 0 |
1 |
min_face_detection_confidence |
Score de confiance minimal pour que la détection de visages soit considérée comme réussie. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
Score de confiance minimal du score de présence de visage dans la détection des points de repère de visage. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Score de confiance minimal pour que le suivi du visage soit considéré comme réussi. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
Indique si l'outil de repère de visage génère des combinaisons de visages. Les combinaisons de visage sont utilisées pour afficher le modèle de visage 3D. | Boolean |
False |
output_facial_transformation_matrixes |
Indique si FaceLandMarker génère la matrice de transformation du visage. FaceLandMarker utilise la matrice pour transformer les points de repère de visage d'une empreinte faciale canonique en visage détecté, afin que les utilisateurs puissent appliquer des effets sur ces points de repère. | Boolean |
False |
result_callback |
Définit l'écouteur de résultats pour recevoir les résultats du point de repère de manière asynchrone lorsque FaceLandMarker est en mode de diffusion en direct.
Ne peut être utilisé que lorsque le mode En cours d'exécution est défini sur LIVE_STREAM |
ResultListener |
N/A |
Modèles
Cet outil utilise une série de modèles pour prédire les points de repère de visage. Le premier modèle détecte les visages, un deuxième modèle localise les points de repère sur les visages détectés, et un troisième modèle les utilise pour identifier les caractéristiques et les expressions du visage.
Les modèles suivants sont empaquetés dans un lot de modèles téléchargeable:
- Modèle de détection de visages: détecte la présence de visages à l'aide de quelques points de repère faciales clés.
- Modèle du maillage de visages: ajoute un mappage complet du visage. Le modèle génère une estimation de 478 points de repère de face tridimensionnels.
- Modèle de prédiction Blendshape: reçoit les résultats du modèle de maillage de visages. Il prédit 52 scores Blendshape, qui sont des coefficients représentant différentes expressions faciales.
Le modèle de détection de visages est le modèle BlazeFace à courte portée, un détecteur de visages léger et précis optimisé pour l'inférence GPU sur mobile. Pour en savoir plus, consultez la section Détecteur de visages.
L'image ci-dessous montre une cartographie complète des points de repère faciaux à partir de la sortie du groupe de modèles.
Pour une vue plus détaillée des points de repère de visage, consultez l'image en taille réelle.
| Lot de modèles | Forme de saisie | Type de données | Fiches de modèle | Versions |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 x 192 FaceMesh-V2: 256 x 256 Blendshape: 1 x 146 x 2 |
nombre décimal 16 |
FaceDetector FaceMesh-V2 Blendshape |
Les plus récents |