La tarea Detector de objetos te permite detectar la presencia y la ubicación de varias clases de objetos. Por ejemplo, un detector de objetos puede ubicar perros en una imagen. En estas instrucciones, se muestra cómo usar la tarea Detector de objetos en Android. La muestra de código que se describe en estas instrucciones está disponible en GitHub. Puedes ver esta tarea en acción en esta demostración web. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo de MediaPipe Tasks es una implementación simple de una app de detección de objetos para Android. En el ejemplo, se usa la cámara de un dispositivo Android físico para detectar objetos de forma continua y también se pueden usar imágenes y videos de la galería del dispositivo para detectar objetos de forma estática.
Puedes usar la app como punto de partida para tu propia app para Android o consultarla cuando modifiques una app existente. El código de ejemplo del detector de objetos se aloja en GitHub.
Descarga el código
En las siguientes instrucciones, se muestra cómo crear una copia local del código de ejemplo con la herramienta de línea de comandos git.
Para descargar el código de ejemplo, haz lo siguiente:
- Usa el siguiente comando para clonar el repositorio de Git:
git clone https://github.com/google-ai-edge/mediapipe-samples
- De manera opcional, configura tu instancia de Git para que use la confirmación dispersa, de modo que solo tengas los archivos para la app de ejemplo del detector de objetos:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/object_detection/android
.
Después de crear una versión local del código de ejemplo, puedes importar el proyecto a Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración de Android.
Componentes clave
Los siguientes archivos contienen el código fundamental para la aplicación de ejemplo del detector de objetos:
- ObjectDetectorHelper.kt: Inicializa el detector de objetos y controla el modelo y la selección de delegado.
- MainActivity.kt: Implementa la aplicación y ensambla los componentes de la interfaz de usuario.
- OverlayView.kt: Controla y muestra los resultados.
Configuración
En esta sección, se describen los pasos clave para configurar el entorno de desarrollo y los proyectos de código a fin de usar el detector de objetos. Si quieres obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración para Android.
Dependencias
El detector de objetos usa la biblioteca com.google.mediapipe:tasks-vision
. Agrega esta dependencia al archivo build.gradle
de tu proyecto de desarrollo de apps para Android. Importa las dependencias necesarias con el siguiente código:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Modelo
La tarea Detector de objetos de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el detector de objetos, consulta la descripción general de la tarea en la sección Modelos.
Selecciona y descarga el modelo. Luego, almacénalo en el directorio de tu proyecto:
<dev-project-root>/src/main/assets
Usa el método BaseOptions.Builder.setModelAssetPath()
para especificar la ruta que usa el modelo. Para ver un ejemplo de código, consulta la siguiente sección.
Crea la tarea
Puedes usar la función createFromOptions
para crear la tarea. La
función createFromOptions
acepta opciones de configuración que incluyen el modo
de ejecución, la configuración regional de los nombres visibles, la cantidad máxima de resultados, el umbral de confianza,
la lista de entidades permitidas de categorías y la lista de bloqueo. Si no se especifica una opción de configuración, se usará el valor predeterminado. Para obtener más información sobre las opciones de configuración, consulta Descripción general de la configuración.
La tarea Detector de objetos admite 3 tipos de datos de entrada: imágenes estáticas, archivos de video y transmisiones de video en vivo. Cuando creas la tarea, debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.
De imagen
ObjectDetectorOptions options = ObjectDetectorOptions.builder() .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build()) .setRunningMode(RunningMode.IMAGE) .setMaxResults(5) .build(); objectDetector = ObjectDetector.createFromOptions(context, options);
Video
ObjectDetectorOptions options = ObjectDetectorOptions.builder() .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build()) .setRunningMode(RunningMode.VIDEO) .setMaxResults(5) .build(); objectDetector = ObjectDetector.createFromOptions(context, options);
Transmisión en vivo
ObjectDetectorOptions options = ObjectDetectorOptions.builder() .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build()) .setRunningMode(RunningMode.LIVE_STREAM) .setMaxResults(5) .setResultListener((result, inputImage) -> { // Process the detection result here. }) .setErrorListener((result, inputImage) -> { // Process the classification errors here. }) .build(); objectDetector = ObjectDetector.createFromOptions(context, options);
La implementación de código de ejemplo del detector de objetos permite al usuario cambiar entre los modos de procesamiento. Este enfoque hace que el código de creación de la tarea sea más complicado y
puede que no sea apropiado para tu caso de uso. Puedes ver este código en la función setupObjectDetector()
de la clase ObjectDetectorHelper
.
Opciones de configuración
Esta tarea incluye las siguientes opciones de configuración para apps para Android:
Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
---|---|---|---|
runningMode |
Establece el modo de ejecución para la tarea. Existen tres modos: IMAGE: El modo para entradas de una sola imagen. VIDEO: Es el modo para los fotogramas decodificados de un video. LIVE_STREAM: Es el modo para una transmisión en vivo de datos de entrada, como los que provienen de una cámara. En este modo, se debe llamar a resultListener para configurar un objeto de escucha a fin de recibir resultados de forma asíncrona. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
displayNamesLocales |
Configura el idioma de las etiquetas que se usarán para los nombres visibles proporcionados en los metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es en para inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado
con la API de Metadata Writer de TensorFlow Lite
|
Código de configuración regional | en |
maxResults |
Configura la cantidad máxima opcional de resultados de detección con puntuaciones más altas que se mostrarán. | Cualquier número positivo | -1 (se muestran todos los resultados) |
scoreThreshold |
Establece el umbral de puntuación de predicción que anula el proporcionado en los metadatos del modelo (si corresponde). Se rechazarán los resultados inferiores a este valor. | Cualquier número de punto flotante | No establecida |
categoryAllowlist |
Establece la lista opcional de nombres de categorías permitidas. Si no está vacío, se filtrarán los resultados de detección cuyo nombre de categoría no esté en este conjunto. Los nombres de categorías duplicados o desconocidos se ignoran.
Esta opción es mutuamente excluyente con categoryDenylist , y el uso de ambos da como resultado un error. |
Cualquier cadena | No establecida |
categoryDenylist |
Establece la lista opcional de nombres de categorías que no están permitidas. Si no está vacío, se filtrarán los resultados de detección cuyo nombre de categoría se encuentre en este conjunto. Los nombres de categorías duplicados o desconocidos se ignoran. Esta opción es mutuamente
exclusiva con categoryAllowlist , y el uso de ambas da como resultado un error. |
Cualquier cadena | No establecida |
resultListener |
Configura el objeto de escucha de resultados para recibir los resultados de la detección de forma asíncrona cuando el detector de objetos está en el modo de transmisión en vivo. Solo puedes usar esta opción cuando estableces runningMode en LIVE_STREAM. | No aplicable | No establecida |
Preparar los datos
Debes convertir la imagen o el marco de entrada en un objeto com.google.mediapipe.framework.image.MPImage
antes de pasarlo al detector de objetos.
En los siguientes ejemplos, se explica y se muestra cómo preparar datos para su procesamiento en cada uno de los tipos de datos disponibles:
De imagen
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load an image on the user’s device as a Bitmap object using BitmapFactory. // Convert an Android’s Bitmap object to a MediaPipe’s Image object. Image mpImage = new BitmapImageBuilder(bitmap).build();
Video
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load a video file on the user's device using MediaMetadataRetriever // From the video’s metadata, load the METADATA_KEY_DURATION and // METADATA_KEY_VIDEO_FRAME_COUNT values. Use these values // to calculate the timestamp of each frame later. // Loop through the video and load each frame as a Bitmap object. // Convert the Android’s Bitmap object to a MediaPipe’s Image object. Image mpImage = new BitmapImageBuilder(frame).build();
Transmisión en vivo
import com.google.mediapipe.framework.image.MediaImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Create a CameraX’s ImageAnalysis to continuously receive frames // from the device’s camera. Configure it to output frames in RGBA_8888 // format to match with what is required by the model. // For each Android’s ImageProxy object received from the ImageAnalysis, // extract the encapsulated Android’s Image object and convert it to // a MediaPipe’s Image object. android.media.Image mediaImage = imageProxy.getImage() MPImage mpImage = new MediaImageBuilder(mediaImage).build();
En el código de ejemplo del detector de objetos, la preparación de los datos se controla en la clase ObjectDetectorHelper
dentro de las funciones detectImage()
, detectVideoFile()
y detectLivestreamFrame()
.
Ejecuta la tarea
Según el tipo de datos con los que trabajes, usa el método ObjectDetector.detect...()
específico para ese tipo de datos. Usa detect()
para imágenes individuales, detectForVideo()
para fotogramas en archivos de video y detectAsync()
para transmisiones de video por Internet. Cuando realices detecciones en una transmisión de video por Internet, asegúrate de ejecutarlas en un subproceso independiente para evitar bloquear el subproceso de interfaz de usuario.
En las siguientes muestras de código, se presentan ejemplos simples de cómo ejecutar el detector de objetos en estos modos de datos diferentes:
De imagen
ObjectDetectorResult detectionResult = objectDetector.detect(image);
Video
// Calculate the timestamp in milliseconds of the current frame. long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count; // Run inference on the frame. ObjectDetectorResult detectionResult = objectDetector.detectForVideo(image, frameTimestampMs);
Transmisión en vivo
// Run inference on the frame. The detection results will be available // via the `resultListener` provided in the `ObjectDetectorOptions` when // the object detector was created. objectDetector.detectAsync(image, frameTimestampMs);
En el ejemplo de código del detector de objetos, se muestran las implementaciones de cada uno de estos modos con más detalle detect()
, detectVideoFile()
y detectAsync()
.
El código de ejemplo permite al usuario cambiar entre los modos de procesamiento que pueden no ser necesarios para tu caso de uso.
Ten en cuenta lo siguiente:
- Cuando se ejecuta en modo de video o de transmisión en vivo, también debes proporcionar la marca de tiempo del fotograma de entrada a la tarea del detector de objetos.
- Cuando se ejecuta en los modos de imagen o video, la tarea Detector de objetos bloqueará el subproceso actual hasta que termine de procesar la imagen o el marco de entrada. Para evitar bloquear el subproceso actual, ejecuta el procesamiento en un subproceso en segundo plano.
- Cuando se ejecuta en el modo de transmisión en vivo, la tarea Detector de objetos no bloquea el subproceso actual, pero muestra el resultado de inmediato. Invocará su objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un marco de entrada. Si se llama a la función de detección cuando la tarea Detector de objetos está ocupada procesando otro marco, se ignorará el nuevo marco de entrada.
Cómo controlar y mostrar los resultados
Cuando se ejecuta la inferencia, la tarea Detector de objetos muestra un objeto ObjectDetectorResult
que describe los objetos que encontró en la imagen de entrada.
A continuación, se muestra un ejemplo de los datos de salida de esta tarea:
ObjectDetectorResult:
Detection #0:
Box: (x: 355, y: 133, w: 190, h: 206)
Categories:
index : 17
score : 0.73828
class name : dog
Detection #1:
Box: (x: 103, y: 15, w: 138, h: 369)
Categories:
index : 17
score : 0.73047
class name : dog
En la siguiente imagen, se muestra una visualización del resultado de la tarea:
En el código de ejemplo del detector de objetos, se demuestra cómo mostrar los resultados de la detección que muestra la tarea. Consulta la clase OverlayView
para obtener más detalles.