La tarea MediaPipe Face Detector te permite detectar rostros en una imagen o un video. Puedes usar esta tarea para ubicar rostros y rasgos faciales dentro de un fotograma. En esta tarea, se usa un modelo de aprendizaje automático (AA) que funciona con imágenes individuales o una transmisión continua de imágenes. La tarea muestra las ubicaciones de los rostros, junto con los siguientes puntos clave faciales: ojo izquierdo, ojo derecho, punta de la nariz, boca, tragión del ojo izquierdo y tragión del ojo derecho.
La muestra de código que se describe en estas instrucciones está disponible en GitHub. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.
Ejemplo de código
En el código de ejemplo del detector de rostros, se proporciona una implementación completa de esta tarea en Python para tu referencia. Este código te ayuda a probar esta tarea y comenzar a compilar tu propio detector de rostros. Puedes ver, ejecutar y editar el código de ejemplo del detector de rostros solo con tu navegador web.
Si quieres implementar el detector de rostros para Raspberry Pi, consulta la app de ejemplo de Raspberry Pi.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente a fin de usar el detector de rostros. Si deseas obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración de Python.
Paquetes
La tarea del detector de rostros de MediaPipe requiere el paquete mediapipe PyPI. Puedes instalar e importar estas dependencias con lo siguiente:
$ python -m pip install mediapipe
Importaciones
Importa las siguientes clases para acceder a las funciones de la tarea del detector de rostros:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Modelo
La tarea del detector de rostros de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el detector de rostros, consulta la descripción general de la tarea en la sección Modelos.
Selecciona y descarga el modelo; luego, almacénalo en un directorio local:
model_path = '/absolute/path/to/face_detector.task'
Usa el parámetro model_asset_path
del objeto BaseOptions
para especificar la ruta de acceso del modelo que se usará. Para ver un ejemplo de código, consulta la siguiente sección.
Crea la tarea
La tarea del detector de rostros de MediaPipe usa la función create_from_options
para configurarla. La función create_from_options
acepta valores para controlar las opciones de configuración. Para obtener más información sobre las opciones de configuración, consulta Opciones de configuración.
En el siguiente código, se muestra la compilación y configuración de esta tarea.
En estos ejemplos, también se incluyen las variaciones de la creación de tareas para imágenes, archivos de video y transmisiones en vivo.
De imagen
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions FaceDetector = mp.tasks.vision.FaceDetector FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a face detector instance with the image mode: options = FaceDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.IMAGE) with FaceDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Video
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions FaceDetector = mp.tasks.vision.FaceDetector FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a face detector instance with the video mode: options = FaceDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.VIDEO) with FaceDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Transmisión en vivo
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions FaceDetector = mp.tasks.vision.FaceDetector FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions FaceDetectorResult = mp.tasks.vision.FaceDetectorResult VisionRunningMode = mp.tasks.vision.RunningMode # Create a face detector instance with the live stream mode: def print_result(result: FaceDetectorResult, output_image: mp.Image, timestamp_ms: int): print('face detector result: {}'.format(result)) options = FaceDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.LIVE_STREAM, result_callback=print_result) with FaceDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Si quieres ver un ejemplo completo de cómo crear un detector de rostros para usar con una imagen, consulta el ejemplo de código.
Opciones de configuración
Esta tarea incluye las siguientes opciones de configuración para aplicaciones de Python:
Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
---|---|---|---|
running_mode |
Establece el modo de ejecución para la tarea. Existen tres modos: IMAGE: El modo para entradas de una sola imagen. VIDEO: Es el modo para los fotogramas decodificados de un video. LIVE_STREAM: Es el modo para una transmisión en vivo de datos de entrada, como los que provienen de una cámara. En este modo, se debe llamar a resultListener para configurar un objeto de escucha a fin de recibir resultados de forma asíncrona. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
min_detection_confidence |
Puntuación de confianza mínima para que se considere exitosa la detección de rostro. | Float [0,1] |
0.5 |
min_suppression_threshold |
El umbral mínimo de no supresión máxima para que la detección de rostro se considere superpuesto. | Float [0,1] |
0.3 |
result_callback |
Configura el objeto de escucha de resultados para recibir los resultados de detección de forma asíncrona cuando el detector de rostros está en el modo de transmisión en vivo. Solo se puede usar cuando el modo de ejecución está configurado en LIVE_STREAM . |
N/A |
Not set |
Preparar los datos
Prepara la entrada como un archivo de imagen o un array de NumPy y, luego, conviértela en un objeto mediapipe.Image
. Si la entrada es un archivo de video o una transmisión en vivo desde una cámara web, puedes usar una biblioteca externa, como OpenCV, para cargar los fotogramas de entrada como arrays NumPy.
De imagen
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Video
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Transmisión en vivo
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Ejecuta la tarea
El detector de rostros usa las funciones detect
, detect_for_video
y detect_async
para activar las inferencias. Para la detección de rostro, esto implica el procesamiento previo de los datos de entrada y la detección de rostros en la imagen.
En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas.
De imagen
# Perform face detection on the provided single image. # The face detector must be created with the image mode. face_detector_result = detector.detect(mp_image)
Video
# Perform face detection on the provided single image. # The face detector must be created with the video mode. face_detector_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
Transmisión en vivo
# Send live image data to perform face detection. # The results are accessible via the `result_callback` provided in # the `FaceDetectorOptions` object. # The face detector must be created with the live stream mode. detector.detect_async(mp_image, frame_timestamp_ms)
Ten en cuenta lo siguiente:
- Cuando ejecutes la tarea en el modo de video o de transmisión en vivo, proporciona también la marca de tiempo del fotograma de entrada a la tarea Detector de rostros.
- Cuando se ejecuta en la imagen o el modelo de video, la tarea Detector de rostros bloquea el subproceso actual hasta que termina de procesar la imagen o el fotograma de entrada.
- Cuando se ejecuta en el modo de transmisión en vivo, la tarea Detector de rostros se muestra de inmediato y no bloquea el subproceso actual. Invocará el objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un marco de entrada. Si se llama a la función de detección cuando la tarea Detector de rostro está ocupada procesando otro fotograma, la tarea ignorará el nuevo fotograma de entrada.
Si quieres ver un ejemplo completo de cómo ejecutar un detector de rostros en una imagen, consulta el ejemplo de código para obtener más información.
Cómo controlar y mostrar los resultados
El detector de rostros muestra un objeto FaceDetectorResult
para cada ejecución de detección. El objeto Resultado contiene cuadros delimitadores para los rostros detectados y una puntuación de confianza para cada rostro detectado.
A continuación, se muestra un ejemplo de los datos de salida de esta tarea:
FaceDetectionResult:
Detections:
Detection #0:
BoundingBox:
origin_x: 126
origin_y: 100
width: 463
height: 463
Categories:
Category #0:
index: 0
score: 0.9729152917861938
NormalizedKeypoints:
NormalizedKeypoint #0:
x: 0.18298381567001343
y: 0.2961040139198303
NormalizedKeypoint #1:
x: 0.3302789330482483
y: 0.29289937019348145
... (6 keypoints for each face)
Detection #1:
BoundingBox:
origin_x: 616
origin_y: 193
width: 430
height: 430
Categories:
Category #0:
index: 0
score: 0.9251380562782288
NormalizedKeypoints:
NormalizedKeypoint #0:
x: 0.6151331663131714
y: 0.3713381886482239
NormalizedKeypoint #1:
x: 0.7460576295852661
y: 0.38825345039367676
... (6 keypoints for each face)
En la siguiente imagen, se muestra una visualización del resultado de la tarea:
Si quieres ver la imagen sin cuadros de límite, consulta la imagen original.
En el código de ejemplo del detector de rostros, se demuestra cómo mostrar los resultados que muestra la tarea. Consulta el ejemplo de código para obtener más información.