Guía de detección de objetos para Python

La tarea MediaPipe Object Detector permite detectar la presencia y ubicación de varios clases de objetos. En estas instrucciones, se muestra cómo usar el detector de objetos en Python. El ejemplo de código descrito en estas instrucciones está disponible en GitHub:

Puedes ver esta tarea en acción viendo la demostración web. Para obtener más información sobre las funciones, los modelos y de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo para el detector de objetos brinda una implementación completa de este en Python para tu referencia. Este código te ayuda a probar esta tarea y obtener empezaste a compilar tu propia app de clasificación de texto. Puedes ver, ejecutar y Edita el código de ejemplo del detector de objetos. usando solo el navegador web.

Si quieres implementar el detector de objetos para Raspberry Pi, consulta la Ejemplo de Raspberry Pi de la app.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el detector de objetos. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Python.

Paquetes

La tarea Detector de objetos requiere el paquete mediapipe pip. Puedes instalar el necesarios con los siguientes comandos:

$ python -m pip install mediapipe

Importaciones

Importa las siguientes clases para acceder a las funciones de tarea del detector de objetos:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modelo

La tarea del detector de objetos MediaPipe requiere un modelo entrenado que sea compatible con este tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el detector de objetos, consulta la sección Modelos de la descripción general de la tarea.

Selecciona y descarga un modelo y, luego, guárdalo en un directorio local:

model_path = '/absolute/path/to/lite-model_efficientdet_lite0_detection_metadata_1.tflite'

Usa el parámetro model_asset_path del objeto BaseOptions para especificar la ruta de acceso. del modelo que se usará. Para ver un ejemplo de código, consulta la siguiente sección.

Crea la tarea

Usa la función create_from_options para crear la tarea. El La función create_from_options acepta opciones de configuración, como la ejecución modo, configuración regional de los nombres visibles, cantidad máxima de resultados, umbral de confianza, la lista de categorías permitidas y la lista de bloqueo. Si no estableces una opción de configuración, la tarea usa el valor predeterminado. Para obtener más información sobre las opciones de configuración, consulta la sección Opciones de configuración.

La tarea Detector de objetos admite varios tipos de datos de entrada: imágenes fijas, video archivos y transmisiones de video en vivo. Elige la pestaña correspondiente a tus datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.IMAGE)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.VIDEO)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
DetectionResult = mp.tasks.components.containers.detections.DetectionResult
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: DetectionResult, output_image: mp.Image, timestamp_ms: int):
    print('detection result: {}'.format(result))

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    max_results=5,
    result_callback=print_result)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

Si quieres ver un ejemplo completo de cómo crear un detector de objetos para usarlo con una imagen, consulta el ejemplo de código de barras.

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para las aplicaciones de Python:

Preparar los datos

Prepara tu entrada como un archivo de imagen o un array de NumPy. y, luego, convertirlo en un objeto mediapipe.Image. Si la entrada es un archivo de video o transmitir en vivo desde una cámara web, puedes usar una biblioteca externa, como OpenCV para cargar tus marcos de entrada como NumPy de Terraform.

Los siguientes ejemplos explican y muestran cómo preparar los datos para su procesamiento de cada uno de los tipos de datos disponibles:

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Ejecuta la tarea

Puedes llamar a una de las funciones de detección para activar inferencias. El objeto La tarea del detector mostrará los objetos detectados dentro de la imagen o el marco de entrada.

# Perform object detection on the provided single image.
detection_result = detector.detect(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform object detection on the video frame.
detection_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform object detection.
# Results are sent to the `result_callback` provided in the `ObjectDetectorOptions`.
detector.detect_async(mp_image, frame_timestamp_ms)
    

Para ver un ejemplo completo de cómo ejecutar un detector de objetos en una imagen, consulta la ejemplo de código para obtener más detalles.

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes y proporcionarle a la tarea Detector de objetos la marca de tiempo del marco de entrada.
• Cuando se ejecuta en el modelo de imagen o video, la tarea del detector de objetos bloquear el subproceso actual hasta que termine de procesar la imagen de entrada o marco.
• Cuando se ejecuta en modo de transmisión en vivo, la tarea detector de objetos no bloquea el subproceso actual, pero se muestra inmediatamente. Invocará su resultado con el resultado de la detección cada vez que haya terminado de procesar una marco de entrada. Si se llama a la función de detección cuando se lleva a cabo la tarea del detector de objetos está ocupado procesando otra trama, el nuevo marco de entrada será ignorado.

Cómo controlar y mostrar resultados

Luego de ejecutar la inferencia, la tarea del detector de objetos muestra un Un objeto ObjectDetectionResult que describe los objetos que encontró en la imagen de entrada.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

ObjectDetectorResult:
 Detection #0:
  Box: (x: 355, y: 133, w: 190, h: 206)
  Categories:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1:
  Box: (x: 103, y: 15, w: 138, h: 369)
  Categories:
   index       : 17
   score       : 0.73047
   class name  : dog

En la siguiente imagen, se muestra una visualización del resultado de la tarea:

El código de ejemplo del detector de objetos muestra cómo mostrar el valor resultados que devolvió la tarea, consulta la ejemplo de código para conocer los detalles.