La tarea MediaPipe Object Detector permite detectar la presencia y ubicación de varios clases de objetos. En estas instrucciones, se muestra cómo usar el detector de objetos en Python. El ejemplo de código descrito en estas instrucciones está disponible en GitHub:
Puedes ver esta tarea en acción viendo la demostración web. Para obtener más información sobre las funciones, los modelos y de configuración de esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo para el detector de objetos brinda una implementación completa de este en Python para tu referencia. Este código te ayuda a probar esta tarea y obtener empezaste a compilar tu propia app de clasificación de texto. Puedes ver, ejecutar y Edita el código de ejemplo del detector de objetos. usando solo el navegador web.
Si quieres implementar el detector de objetos para Raspberry Pi, consulta la Ejemplo de Raspberry Pi de la app.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el detector de objetos. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Python.
Paquetes
La tarea Detector de objetos requiere el paquete mediapipe pip. Puedes instalar el necesarios con los siguientes comandos:
$ python -m pip install mediapipe
Importaciones
Importa las siguientes clases para acceder a las funciones de tarea del detector de objetos:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Modelo
La tarea del detector de objetos MediaPipe requiere un modelo entrenado que sea compatible con este tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el detector de objetos, consulta la sección Modelos de la descripción general de la tarea.
Selecciona y descarga un modelo y, luego, guárdalo en un directorio local:
model_path = '/absolute/path/to/lite-model_efficientdet_lite0_detection_metadata_1.tflite'
Usa el parámetro model_asset_path del objeto BaseOptions para especificar la ruta de acceso.
del modelo que se usará. Para ver un ejemplo de código, consulta la siguiente sección.
Crea la tarea
Usa la función create_from_options para crear la tarea. El
La función create_from_options acepta opciones de configuración, como la ejecución
modo, configuración regional de los nombres visibles, cantidad máxima de resultados, umbral de confianza,
la lista de categorías permitidas
y la lista de bloqueo. Si no estableces una opción de configuración,
la tarea usa el valor predeterminado. Para obtener más información
sobre las opciones de configuración,
consulta la sección Opciones de configuración.
La tarea Detector de objetos admite varios tipos de datos de entrada: imágenes fijas, video archivos y transmisiones de video en vivo. Elige la pestaña correspondiente a tus datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.
Imagen
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ObjectDetector = mp.tasks.vision.ObjectDetector ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ObjectDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.IMAGE) with ObjectDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Video
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ObjectDetector = mp.tasks.vision.ObjectDetector ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ObjectDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.VIDEO) with ObjectDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Transmisión en vivo
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions DetectionResult = mp.tasks.components.containers.detections.DetectionResult ObjectDetector = mp.tasks.vision.ObjectDetector ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode def print_result(result: DetectionResult, output_image: mp.Image, timestamp_ms: int): print('detection result: {}'.format(result)) options = ObjectDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), running_mode=VisionRunningMode.LIVE_STREAM, max_results=5, result_callback=print_result) with ObjectDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Si quieres ver un ejemplo completo de cómo crear un detector de objetos para usarlo con una imagen, consulta el ejemplo de código de barras.
Opciones de configuración
Esta tarea tiene las siguientes opciones de configuración para las aplicaciones de Python:
| Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
|---|---|---|---|
running_mode |
Establece el modo de ejecución de la tarea. Existen tres
modos: IMAGE: Es el modo para entradas de una sola imagen. VIDEO: es el modo de los fotogramas decodificados de un video. LIVE_STREAM: Es el modo para una transmisión en vivo de entradas. datos, como los de una cámara. En este modo, resultListener debe se llama para configurar un objeto de escucha que reciba resultados de forma asíncrona. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
display_names |
Configura el idioma de las etiquetas que se usarán para los nombres visibles que se proporcionan en la
metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es en para
Inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado
con la API de Metadata Writer de TensorFlow Lite
|
Código de configuración regional | en |
max_results |
Establece el número máximo opcional de resultados de detección con la puntuación más alta para el resultado. | Cualquier número positivo | -1 (se devuelven todos los resultados) |
score_threshold |
Establece el umbral de puntuación de predicción que anula el que se proporciona en los metadatos del modelo (si los hay). Se rechazarán los resultados por debajo de este valor. | Cualquier número de punto flotante | Sin establecer |
category_allowlist |
Establece la lista opcional de nombres de categorías permitidas. Si no está vacío,
los resultados de detección cuyo nombre de categoría no se encuentre en este conjunto serán
filtrado. Se ignoran los nombres de categoría duplicados o desconocidos.
Esta opción es mutuamente excluyente con category_denylist y usa
ambos darán como resultado un error. |
Cualquier cadena | Sin establecer |
category_denylist |
Establece la lista opcional de nombres de categorías que no están permitidos. Si
no vacío, los resultados de detección cuyo nombre de categoría se encuentre en este conjunto se filtrarán
y sale de ella. Se ignoran los nombres de categoría duplicados o desconocidos. Esta opción es mutuamente
excluyente con category_allowlist y usar ambos dará como resultado un error. |
Cualquier cadena | Sin establecer |
Preparar los datos
Prepara tu entrada como un archivo de imagen o un array de NumPy.
y, luego, convertirlo en un objeto mediapipe.Image. Si la entrada es un archivo de video
o transmitir en vivo desde una cámara web, puedes usar una biblioteca externa, como
OpenCV para cargar tus marcos de entrada como NumPy
para los diferentes tipos de arrays.
Los siguientes ejemplos explican y muestran cómo preparar los datos para su procesamiento de cada uno de los tipos de datos disponibles:
Imagen
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Video
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Transmisión en vivo
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Ejecuta la tarea
Puedes llamar a una de las funciones de detección para activar inferencias. El objeto La tarea del detector mostrará los objetos detectados dentro de la imagen o el marco de entrada.
Imagen
# Perform object detection on the provided single image. detection_result = detector.detect(mp_image)
Video
# Calculate the timestamp of the current frame frame_timestamp_ms = 1000 * frame_index / video_file_fps # Perform object detection on the video frame. detection_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
Transmisión en vivo
# Send the latest frame to perform object detection. # Results are sent to the `result_callback` provided in the `ObjectDetectorOptions`. detector.detect_async(mp_image, frame_timestamp_ms)
Para ver un ejemplo completo de cómo ejecutar un detector de objetos en una imagen, consulta la ejemplo de código para obtener más detalles.
Ten en cuenta lo siguiente:
- Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes y proporcionarle a la tarea Detector de objetos la marca de tiempo del marco de entrada.
- Cuando se ejecuta en el modelo de imagen o video, la tarea del detector de objetos bloquear el subproceso actual hasta que termine de procesar la imagen de entrada o marco.
- Cuando se ejecuta en modo de transmisión en vivo, la tarea detector de objetos no bloquea el subproceso actual, pero se muestra inmediatamente. Invocará su resultado con el resultado de la detección cada vez que haya terminado de procesar una marco de entrada. Si se llama a la función de detección cuando se lleva a cabo la tarea del detector de objetos está ocupado procesando otra trama, el nuevo marco de entrada será ignorado.
Cómo controlar y mostrar resultados
Luego de ejecutar la inferencia, la tarea del detector de objetos muestra un
Un objeto ObjectDetectionResult que describe los objetos que encontró en
la imagen de entrada.
A continuación, se muestra un ejemplo de los datos de salida de esta tarea:
ObjectDetectorResult:
Detection #0:
Box: (x: 355, y: 133, w: 190, h: 206)
Categories:
index : 17
score : 0.73828
class name : dog
Detection #1:
Box: (x: 103, y: 15, w: 138, h: 369)
Categories:
index : 17
score : 0.73047
class name : dog
En la siguiente imagen, se muestra una visualización del resultado de la tarea:
El código de ejemplo del detector de objetos muestra cómo mostrar el valor resultados que devolvió la tarea, consulta la ejemplo de código para conocer los detalles.