Guía de detección de objetos para Python

La tarea Detector de objetos de MediaPipe te permite detectar la presencia y la ubicación de varias clases de objetos. En estas instrucciones, se muestra cómo usar la tarea Detector de objetos en Python. El ejemplo de código que se describe en estas instrucciones está disponible en GitHub.

Puedes ver esta tarea en acción en la demostración web. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo del detector de objetos proporciona una implementación completa de esta tarea en Python para tu referencia. Este código te ayuda a probar esta tarea y comenzar a compilar tu propia app de clasificación de texto. Puedes ver, ejecutar y editar el código de ejemplo del detector de objetos solo con tu navegador web.

Si quieres implementar el detector de objetos para Raspberry Pi, consulta la app de ejemplo de Raspberry Pi.

Configuración

En esta sección, se describen los pasos clave para configurar el entorno de desarrollo y los proyectos de código específicamente a fin de usar el detector de objetos. Si deseas obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración de Python.

Paquetes

La tarea Detector de objetos requiere el paquete Mediapipe pip. Puedes instalar los paquetes requeridos con los siguientes comandos:

$ python -m pip install mediapipe

Importaciones

Importa las siguientes clases para acceder a las funciones de la tarea del detector de objetos:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modelo

La tarea Detector de objetos de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el detector de objetos, consulta la descripción general de la tarea en la sección Modelos.

Selecciona y descarga un modelo, y almacénalo en un directorio local:

model_path = '/absolute/path/to/lite-model_efficientdet_lite0_detection_metadata_1.tflite'

Usa el parámetro model_asset_path del objeto BaseOptions para especificar la ruta de acceso del modelo que se usará. Para ver un ejemplo de código, consulta la siguiente sección.

Crea la tarea

Usa la función create_from_options para crear la tarea. La función create_from_options acepta opciones de configuración, incluidos el modo de ejecución, la configuración regional de los nombres visibles, la cantidad máxima de resultados, el umbral de confianza, la lista de categorías permitidas y la lista de bloqueo. Si no estableces una opción de configuración, la tarea usará el valor predeterminado. Para obtener más información sobre las opciones de configuración, consulta la sección Opciones de configuración.

La tarea Detector de objetos admite varios tipos de datos de entrada: imágenes fijas, archivos de video y transmisiones de video en vivo. Elige la pestaña que corresponda a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.IMAGE)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.VIDEO)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
DetectionResult = mp.tasks.components.containers.detections.DetectionResult
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: DetectionResult, output_image: mp.Image, timestamp_ms: int):
    print('detection result: {}'.format(result))

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    max_results=5,
    result_callback=print_result)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

Si quieres ver un ejemplo completo de cómo crear un detector de objetos para usar con una imagen, consulta el ejemplo de código.

Opciones de configuración

Esta tarea incluye las siguientes opciones de configuración para aplicaciones de Python:

Preparar los datos

Prepara la entrada como un archivo de imagen o un array de NumPy y, luego, conviértela en un objeto mediapipe.Image. Si la entrada es un archivo de video o una transmisión en vivo desde una cámara web, puedes usar una biblioteca externa, como OpenCV, para cargar los fotogramas de entrada como arrays NumPy.

En los siguientes ejemplos, se explica y se muestra cómo preparar datos para su procesamiento en cada uno de los tipos de datos disponibles:

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Ejecuta la tarea

Puedes llamar a una de las funciones de detección para activar las inferencias. La tarea Detector de objetos mostrará los objetos detectados dentro de la imagen o el marco de entrada.

# Perform object detection on the provided single image.
detection_result = detector.detect(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform object detection on the video frame.
detection_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform object detection.
# Results are sent to the `result_callback` provided in the `ObjectDetectorOptions`.
detector.detect_async(mp_image, frame_timestamp_ms)
    

Para ver un ejemplo completo de cómo ejecutar un detector de objetos en una imagen, consulta el ejemplo de código para obtener más información.

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes proporcionar la marca de tiempo del fotograma de entrada a la tarea Detector de objetos.
• Cuando se ejecuta en la imagen o el modelo de video, la tarea Detector de objetos bloqueará el subproceso actual hasta que termine de procesar la imagen o el marco de entrada.
• Cuando se ejecuta en el modo de transmisión en vivo, la tarea Detector de objetos no bloquea el subproceso actual, pero muestra el resultado de inmediato. Invocará su objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un marco de entrada. Si se llama a la función de detección cuando la tarea Detector de objetos está ocupada procesando otro marco, se ignorará el nuevo marco de entrada.

Cómo controlar y mostrar los resultados

Cuando se ejecuta la inferencia, la tarea Detector de objetos muestra un objeto ObjectDetectionResult que describe los objetos que encontró en la imagen de entrada.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

ObjectDetectorResult:
 Detection #0:
  Box: (x: 355, y: 133, w: 190, h: 206)
  Categories:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1:
  Box: (x: 103, y: 15, w: 138, h: 369)
  Categories:
   index       : 17
   score       : 0.73047
   class name  : dog

En la siguiente imagen, se muestra una visualización del resultado de la tarea:

En el código de ejemplo del detector de objetos, se indica cómo mostrar los resultados de la detección que muestra la tarea. Consulta el ejemplo de código para obtener más información.