Guía de detección de objetos para Android

La tarea Detector de objetos permite detectar la presencia y ubicación de varios clases de objetos. Por ejemplo, un detector de objetos puede ubicar perros en un imagen. En estas instrucciones, se muestra cómo usar la tarea del detector de objetos en Android La muestra de código descrita en estas instrucciones está disponible en GitHub: Para ver esta tarea en acción, consulta este Demostración web. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de MediaPipe Tasks es una implementación simple de un detector de objetos para Android. En el ejemplo, se usa la cámara de un dispositivo Android físico para detectan objetos de forma continua y pueden usar imágenes y videos del galería de dispositivos para detectar objetos de forma estática.

Puedes usar la app como punto de partida para tu propia app para Android o hacer referencia a ella. cuando se modifica una app existente. El código de ejemplo del detector de objetos se aloja en GitHub:

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

1. Clona el repositorio de Git con el siguiente comando:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. De forma opcional, configura tu instancia de Git para que use el resultado escaso. Solo tienes los archivos de la app de ejemplo del detector de objetos:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/object_detection/android
   

Después de crear una versión local del código de ejemplo, puedes importar el proyecto en Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración para Android

Componentes clave

Los siguientes archivos contienen el código fundamental para el detector de objetos. aplicación de ejemplo:

• ObjectDetectorHelper.kt: Inicializa el detector de objetos y controla el modelo y el delegado. selección
• MainActivity.kt: Implementa la aplicación y ensambla los componentes de la interfaz de usuario
• OverlayView.kt: Maneja y muestra los resultados.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y en proyectos de código para usar el detector de objetos. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Android.

Dependencias

El detector de objetos usa la biblioteca com.google.mediapipe:tasks-vision. Agregar dependencia al archivo build.gradle de tu Proyecto de desarrollo de apps para Android. Importa las dependencias necesarias con el siguiente código:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modelo

La tarea del detector de objetos MediaPipe requiere un modelo entrenado que sea compatible con este tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el detector de objetos, consulta la sección Modelos de la descripción general de la tarea.

Selecciona y descarga el modelo; luego, guárdalo en el directorio de tu proyecto:

<dev-project-root>/src/main/assets

Usa el método BaseOptions.Builder.setModelAssetPath() para especificar la ruta de acceso. que usa el modelo. Para ver un ejemplo de código, consulta la siguiente sección.

Crea la tarea

Puedes usar la función createFromOptions para crear la tarea. El La función createFromOptions acepta opciones de configuración, como la ejecución modo, configuración regional de los nombres visibles, cantidad máxima de resultados, umbral de confianza, la lista de entidades permitidas y las listas de bloqueo. Si no se especifica una opción de configuración, se usará el valor predeterminado. Para obtener más información sobre las opciones de configuración, consulta Descripción general de la configuración.

La tarea Detector de objetos admite 3 tipos de datos de entrada: imágenes fijas y archivos de video. y transmisiones de video en vivo. Debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada cuando crees la tarea. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

ObjectDetectorOptions options =
  ObjectDetectorOptions.builder()
    .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build())
    .setRunningMode(RunningMode.IMAGE)
    .setMaxResults(5)
    .build();
objectDetector = ObjectDetector.createFromOptions(context, options);
    

ObjectDetectorOptions options =
  ObjectDetectorOptions.builder()
    .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build())
    .setRunningMode(RunningMode.VIDEO)
    .setMaxResults(5)
    .build();
objectDetector = ObjectDetector.createFromOptions(context, options);
    

ObjectDetectorOptions options =
  ObjectDetectorOptions.builder()
    .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setMaxResults(5)
    .setResultListener((result, inputImage) -> {
      // Process the detection result here.
    })
    .setErrorListener((result, inputImage) -> {
      // Process the classification errors here.
    })
   .build();
objectDetector = ObjectDetector.createFromOptions(context, options);
    

La implementación del código de ejemplo del detector de objetos permite al usuario alternar entre modos de procesamiento. Este enfoque hace que el código de creación de tareas sea más complicado y pueden no ser adecuados para tu caso de uso. Puedes ver este código en la ObjectDetectorHelper función de clase setupObjectDetector().

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para apps para Android:

Preparar los datos

Debes convertir la imagen o marco de entrada en un com.google.mediapipe.framework.image.MPImage antes de pasarlo al Detector de objetos.

Los siguientes ejemplos explican y muestran cómo preparar los datos para su procesamiento de cada uno de los tipos de datos disponibles:

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT values. Use these values
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
MPImage mpImage = new MediaImageBuilder(mediaImage).build();
    

En el código de ejemplo del detector de objetos, la preparación de los datos se controla en el ObjectDetectorHelper dentro de detectImage(), detectVideoFile() y detectLivestreamFrame() funciones.

Ejecuta la tarea

Según el tipo de datos con el que estés trabajando, usa el ObjectDetector.detect...() específico para ese tipo de datos. Usa detect() para imágenes individuales detectForVideo() para los fotogramas en archivos de video detectAsync() para las transmisiones de video por Internet. Al realizar detecciones en un transmisión de video por Internet, asegúrese de ejecutar las detecciones en un subproceso independiente para evitar bloqueando el subproceso de la interfaz de usuario.

En las siguientes muestras de código, se muestran ejemplos simples de cómo ejecutar el detector de objetos en estos diferentes modos de datos:

ObjectDetectorResult detectionResult = objectDetector.detect(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ObjectDetectorResult detectionResult =
    objectDetector.detectForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The detection results will be available
// via the `resultListener` provided in the `ObjectDetectorOptions` when
// the object detector was created.
objectDetector.detectAsync(image, frameTimestampMs);
    

El ejemplo de código del detector de objetos muestra las implementaciones de cada uno de estos. modos en más detalle detect(): detectVideoFile(), y detectAsync(). El código de ejemplo permite al usuario cambiar entre los modos de procesamiento que podrían no ser necesarias para tu caso de uso.

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes proporcionar la marca de tiempo del marco de entrada a la tarea del detector de objetos.
• Cuando se ejecuta en el modo de imagen o video, la tarea del detector de objetos bloquear el subproceso actual hasta que termine de procesar la imagen de entrada o marco. Para evitar bloquear el subproceso actual, ejecuta el procesamiento en un subproceso en segundo plano.
• Cuando se ejecuta en modo de transmisión en vivo, la tarea detector de objetos no bloquea el subproceso actual, pero se muestra inmediatamente. Invocará su resultado con el resultado de la detección cada vez que haya terminado de procesar una marco de entrada. Si se llama a la función de detección cuando se lleva a cabo la tarea del detector de objetos está ocupado procesando otra trama, el nuevo marco de entrada será ignorado.

Cómo controlar y mostrar resultados

Luego de ejecutar la inferencia, la tarea del detector de objetos muestra un Un objeto ObjectDetectorResult que describe los objetos que encontró en la imagen de entrada.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

ObjectDetectorResult:
 Detection #0:
  Box: (x: 355, y: 133, w: 190, h: 206)
  Categories:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1:
  Box: (x: 103, y: 15, w: 138, h: 369)
  Categories:
   index       : 17
   score       : 0.73047
   class name  : dog

En la siguiente imagen, se muestra una visualización del resultado de la tarea:

El código de ejemplo del detector de objetos muestra cómo mostrar el valor resultados que devolvió la tarea, consulta la OverlayView para obtener más información.