Guía de detección de rostro para Android

La tarea MediaPipe Face Detector te permite detectar rostros en una imagen o un video. Puedes usar esta tarea para ubicar rostros y rasgos faciales en un marco. Para esta tarea, se utiliza un modelo de aprendizaje automático (AA) que funciona con imágenes únicas o una flujo continuo de imágenes. La tarea muestra las ubicaciones de los rostros, junto con lo siguiente: puntos clave faciales: ojo izquierdo, ojo derecho, punta de la nariz, boca, tragión del ojo izquierdo y tragión del ojo derecho.

La muestra de código descrita en estas instrucciones está disponible activado GitHub: Para obtener más información sobre las funciones, los modelos y de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de MediaPipe Tasks es una implementación simple de un detector de rostros para Android. En el ejemplo, se usa la cámara de un dispositivo Android físico para detectar rostros en una transmisión continua de video por Internet. La app también puede detectar rostros en imágenes y videos desde la galería del dispositivo.

Puedes usar la app como punto de partida para tu propia app para Android o hacer referencia a ella. cuando se modifica una app existente. El código de ejemplo del detector de rostros se aloja en GitHub:

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

1. Clona el repositorio de Git con el siguiente comando:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. De forma opcional, configura tu instancia de Git para que use el resultado escaso. Solo tienes los archivos de la app de ejemplo de Detector de rostros:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_detector/android
   

Después de crear una versión local del código de ejemplo, puedes importar el proyecto en Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración para Android

Componentes clave

Los siguientes archivos contienen el código crucial para este ejemplo de detección de rostro. aplicación:

• FaceDetectorHelper.kt: Inicializa el detector de rostros y controla el modelo y el delegado. selección.
• CameraFragment.kt: Maneja la cámara del dispositivo y procesa los datos de entrada de imagen y video.
• GalleryFragment.kt: Interactúa con OverlayView para mostrar la imagen o el video de salida.
• OverlayView.kt: Implementa la pantalla con cuadros delimitadores para los rostros detectados.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el Detector de rostros. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Android.

Dependencias

La tarea Detector de rostros usa el com.google.mediapipe:tasks-vision biblioteca. Agrega esta dependencia al archivo build.gradle de tu app para Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modelo

La tarea MediaPipe Face Detector requiere un paquete de modelos entrenados compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para el detector de rostros, consulta la sección Modelos en la descripción general de la tarea.

Selecciona y descarga el modelo, y almacénalo en el directorio de tu proyecto:

<dev-project-root>/src/main/assets

Especifica la ruta del modelo dentro del parámetro ModelAssetPath. En la código de ejemplo, el modelo se define en el archivo FaceDetectorHelper.kt archivo:

val modelName = "face_detection_short_range.tflite"
baseOptionsBuilder.setModelAssetPath(modelName)

Crea la tarea

La tarea Detector de rostros de MediaPipe usa la función createFromOptions() para configurar la tarea. La función createFromOptions() acepta valores para la configuración opciones de estado. Para obtener más información sobre las opciones de configuración, consulta Opciones de configuración.

El detector de rostros admite los siguientes tipos de datos de entrada: imágenes fijas, archivos de video y transmisiones de video por Internet en vivo. Debes especificar el modo de ejecución correspondiente a tu el tipo de datos de entrada cuando se crea la tarea. Elige la pestaña correspondiente a tu el tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)
    

La implementación de código de ejemplo del detector de rostros permite al usuario cambiar entre modos de procesamiento. Este enfoque hace que el código de creación de tareas sea más complicado y pueden no ser adecuados para tu caso de uso. Puedes ver este código en la función setupFaceDetector() en FaceDetectorHelper.kt .

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para apps para Android:

Preparar los datos

El detector de rostros funciona con imágenes, archivos de video y transmisiones de video en vivo. La tarea Controla el procesamiento previo de la entrada de datos, incluidos el cambio de tamaño, la rotación y el valor. normalización.

En el siguiente código, se muestra cómo entregar datos para su procesamiento. Estos incluyen detalles sobre cómo manejar datos de imágenes, archivos de video y datos transmisiones continuas de video por Internet.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

En la código de ejemplo de Face Detector, la preparación de los datos se controla en el FaceDetectorHelper.kt .

Ejecuta la tarea

Según el tipo de datos con el que estés trabajando, usa el faceDetector.detect...() específico para ese tipo de datos. Usa detect() para imágenes individuales detectForVideo() para los fotogramas en archivos de video detectAsync() para las transmisiones de video por Internet. Al realizar detecciones en un transmisión de video por Internet, asegúrese de ejecutar las detecciones en un subproceso independiente para evitar bloqueando el subproceso de la interfaz de usuario.

En las siguientes muestras de código, se muestran ejemplos simples de cómo ejecutar el detector de rostros en estos diferentes modos de datos:

val result = faceDetector.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

faceDetector.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

faceDetector.detectAsync(mpImage, frameTime)
    

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, debes Proporcionar la marca de tiempo del marco de entrada a la tarea Detector de rostros
• Cuando se ejecuta en el modo de imagen o video, la tarea Detector de rostros bloquea el subproceso actual hasta que termine de procesar la imagen de entrada o marco. Para evitar bloquear la interfaz de usuario, ejecuta el procesamiento en un subproceso en segundo plano.
• Cuando se ejecuta en modo de transmisión en vivo, la tarea Detector de rostros muestra inmediatamente y no bloquea el subproceso actual. Invocará el resultado con el resultado de la detección cada vez que termina de procesar un marco de entrada. Si se llama a la función de detección cuando se realiza la tarea Detector de rostros esté ocupado procesando otro fotograma, la tarea ignorará el nuevo marco de entrada.

En la código de ejemplo del detector de rostros, los valores detect, detectForVideo y Las funciones detectAsync se definen en el FaceDetectorHelper.kt .

Cómo controlar y mostrar resultados

El detector de rostros muestra un objeto FaceDetectorResult por cada detección cuando se ejecute. El objeto resultante contiene cuadros de límite para los rostros detectados y una y puntuación de confianza para cada rostro detectado.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

FaceDetectionResult:
  Detections:
    Detection #0:
      BoundingBox:
        origin_x: 126
        origin_y: 100
        width: 463
        height: 463
      Categories:
        Category #0:
          index: 0
          score: 0.9729152917861938
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.18298381567001343
          y: 0.2961040139198303
        NormalizedKeypoint #1:
          x: 0.3302789330482483
          y: 0.29289937019348145
        ... (6 keypoints for each face)
    Detection #1:
      BoundingBox:
        origin_x: 616
        origin_y: 193
        width: 430
        height: 430
      Categories:
        Category #0:
          index: 0
          score: 0.9251380562782288
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.6151331663131714
          y: 0.3713381886482239
        NormalizedKeypoint #1:
          x: 0.7460576295852661
          y: 0.38825345039367676
        ... (6 keypoints for each face)

En la siguiente imagen, se muestra una visualización del resultado de la tarea:

Si la imagen no tiene cuadros delimitadores, consulta la imagen original.

El código de ejemplo del detector de rostros demuestra cómo mostrar el resultados que devolvió la tarea, consulta la OverlayView para obtener más información.