Guía de detección de puntos de referencia facial para Android

La tarea MediaPipe Face Landmarker te permite detectar puntos de referencia y expresiones faciales en imágenes y videos. Puedes usar esta tarea para identificar expresiones faciales humanas, aplicar filtros y efectos faciales, y crear avatares virtuales. En esta tarea, se usan modelos de aprendizaje automático (AA) que pueden funcionar con imágenes individuales o una transmisión continua de imágenes. La tarea genera puntos de referencia tridimensionales, puntuaciones de forma de combinación (coeficientes que representan la expresión facial) para inferir superficies faciales detalladas en tiempo real y matrices de transformación con el objetivo de realizar las transformaciones necesarias para la renderización de efectos.

La muestra de código que se describe en estas instrucciones está disponible en GitHub. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de MediaPipe Tasks es una implementación simple de una app de marcador de rostro para Android. En el ejemplo, se usa la cámara de un dispositivo Android físico para detectar rostros en una transmisión de video por Internet continua. La app también puede detectar rostros en imágenes y videos desde la galería del dispositivo.

Puedes usarla como punto de partida para tu propia app para Android o consultarla cuando modifiques una app existente. El código de ejemplo de Face Landmarker se aloja en GitHub.

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del código de ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

  1. Usa el siguiente comando para clonar el repositorio de Git: 
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. De manera opcional, configura tu instancia de Git para que use un proceso de confirmación de compra disperso, de modo que solo tengas los archivos para la app de ejemplo de Face Landmarker: 
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/face_landmarker/android

Después de crear una versión local del código de ejemplo, puedes importar el proyecto a Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración de Android.

Componentes clave

Los siguientes archivos contienen el código fundamental para esta aplicación de ejemplo de referencia de rostros:

  • FaceLandmarkerHelper.kt: Inicializa el marcador de referencia del rostro y controla la selección del modelo y del delegado.
  • CameraFragment.kt: Controla la cámara del dispositivo y procesa los datos de entrada de imagen y video.
  • GalleryFragment.kt: Interactúa con OverlayView para mostrar la imagen o el video resultantes.
  • OverlayView.kt: Implementa la pantalla con una malla de rostros para los rostros detectados.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente para usar Face Landmarker. Si quieres obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de la versión de la plataforma, consulta la Guía de configuración para Android.

Dependencias

La tarea Face Landmarker usa la biblioteca com.google.mediapipe:tasks-vision. Agrega esta dependencia al archivo build.gradle de tu app para Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modelo

La tarea de marcador de rostro de MediaPipe requiere un paquete de modelos entrenados que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el marcador de rostro, consulta la sección de descripción general de la tarea en la sección Modelos.

Selecciona y descarga el modelo, y almacénalo en el directorio de tu proyecto:

<dev-project-root>/src/main/assets

Especifica la ruta del modelo dentro del parámetro ModelAssetPath. En el código de ejemplo, el modelo se define en el archivo FaceLandmarkerHelper.kt:

baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)

Crea la tarea

La tarea MediaPipe Face Landmarker usa la función createFromOptions() para configurar la tarea. La función createFromOptions() acepta valores para las opciones de configuración. Si deseas obtener más información sobre las opciones de configuración, consulta Opciones de configuración.

El marcador de rostro admite los siguientes tipos de datos de entrada: imágenes fijas, archivos de video y transmisiones de video en vivo. Cuando creas la tarea, debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada. Elige la pestaña de tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

De imagen

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)

Video

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)

Transmisión en vivo

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)

La implementación de código de ejemplo de Face Landmarker permite al usuario cambiar entre los modos de procesamiento. Este enfoque hace que el código de creación de la tarea sea más complicado y puede que no sea apropiado para tu caso de uso. Puedes ver este código en la función setupFaceLandmarker() del archivo FaceLandmarkerHelper.kt.

Opciones de configuración

Esta tarea incluye las siguientes opciones de configuración para apps para Android:

Nombre de la opción Descripción Rango de valores Valor predeterminado
runningMode Establece el modo de ejecución para la tarea. Existen tres modos:

IMAGE: El modo para entradas de una sola imagen.

VIDEO: Es el modo para los fotogramas decodificados de un video.

LIVE_STREAM: Es el modo para una transmisión en vivo de datos de entrada, como los que provienen de una cámara. En este modo, se debe llamar a resultListener para configurar un objeto de escucha a fin de recibir resultados de forma asíncrona.		 {IMAGE, VIDEO, LIVE_STREAM} IMAGE
numFaces La cantidad máxima de rostros que puede detectar FaceLandmarker. El suavizado solo se aplica cuando num_faces se establece en 1. Integer > 0 1
minFaceDetectionConfidence Puntuación de confianza mínima para que se considere correcta la detección de rostro. Float [0.0,1.0] 0.5
minFacePresenceConfidence Puntuación de confianza mínima de la puntuación de presencia facial en la detección de puntos de referencia facial. Float [0.0,1.0] 0.5
minTrackingConfidence Puntuación de confianza mínima para que se considere exitoso el seguimiento de rostros. Float [0.0,1.0] 0.5
outputFaceBlendshapes Establece si Face Landmarker genera formas de combinación de rostros. Las formas de combinación de rostros se usan para renderizar el modelo de rostro 3D. Boolean False
outputFacialTransformationMatrixes Indica si FaceLandmarker genera la matriz de transformación facial. FaceLandmarker usa la matriz para transformar los puntos de referencia del rostro de un modelo de rostro canónico en el rostro detectado, de modo que los usuarios puedan aplicar efectos en los puntos de referencia detectados. Boolean False
resultListener Configura el objeto de escucha de resultados para recibir los resultados del punto de referencia de forma asíncrona cuando FaceLandmarker está en el modo de transmisión en vivo. Solo se puede usar cuando el modo de ejecución está configurado en LIVE_STREAM ResultListener N/A
errorListener Establece un objeto de escucha de errores opcional. ErrorListener N/A

Preparar los datos

Face Landmarker funciona con imágenes, archivos de video y transmisiones de video en vivo. La tarea controla el procesamiento previo de la entrada de datos, incluido el cambio de tamaño, la rotación y la normalización de valores.

En el siguiente código, se muestra cómo transferir datos para su procesamiento. Estas muestras incluyen detalles sobre cómo controlar los datos de las imágenes, los archivos de video y las transmisiones de video en vivo.

De imagen

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()

Video

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()

Transmisión en vivo

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()

En el código de ejemplo de Face Landmarker, la preparación de los datos se controla en el archivo FaceLandmarkerHelper.kt.

Ejecuta la tarea

Según el tipo de datos con los que trabajes, usa el método FaceLandmarker.detect...() específico para ese tipo de datos. Usa detect() para imágenes individuales, detectForVideo() para fotogramas en archivos de video y detectAsync() para transmisiones de video por Internet. Cuando realices detecciones en una transmisión de video por Internet, asegúrate de ejecutarlas en un subproceso independiente para evitar bloquear el subproceso de interfaz de usuario.

En las siguientes muestras de código, se presentan ejemplos simples de cómo ejecutar Face Landmarker en estos diferentes modos de datos:

De imagen

val result = FaceLandmarker.detect(mpImage)

Video

val timestampMs = i * inferenceIntervalMs

FaceLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }

Transmisión en vivo

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

FaceLandmarker.detectAsync(mpImage, frameTime)

Ten en cuenta lo siguiente:

  • Cuando se ejecuta en modo de video o de transmisión en vivo, debes proporcionar la marca de tiempo del fotograma de entrada en la tarea Face Landmarker.
  • Cuando se ejecuta en el modo de imagen o video, la tarea Face Landmarker bloquea el subproceso actual hasta que termina de procesar la imagen o el fotograma de entrada. Para evitar que se bloquee la interfaz de usuario, ejecuta el procesamiento en un subproceso en segundo plano.
  • Cuando se ejecuta en el modo de transmisión en vivo, la tarea de marcador de rostro se muestra de inmediato y no bloquea el subproceso actual. Invocará el objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un marco de entrada.

En el código de ejemplo de Face Land, las funciones detect, detectForVideo y detectAsync se definen en el archivo FaceLandmarkerHelper.kt.

Cómo controlar y mostrar los resultados

Face Landmarker muestra un objeto FaceLandmarkerResult para cada ejecución de detección. El objeto Resultado contiene una malla de rostros para cada rostro detectado, con coordenadas de cada punto de referencia del rostro. De manera opcional, el objeto Resultado también puede contener formas de combinación, que denotan expresiones faciales, y matrices de transformación facial para aplicar efectos faciales en los puntos de referencia detectados.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

En la siguiente imagen, se muestra una visualización del resultado de la tarea:

En el código de ejemplo de Face Landmarker, se demuestra cómo mostrar los resultados que muestra la tarea. Consulta la clase OverlayView para obtener más detalles.