Guía de segmentación de imágenes para Python

La tarea del Segmentador de imágenes de MediaPipe te permite dividir las imágenes en regiones según categorías para aplicar efectos visuales, como difuminado del fondo. Estos Las instrucciones te muestran cómo usar el segmentador de imágenes con el lenguaje Python. Para más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo para el Segmentador de imágenes brinda una implementación completa de este en Python para tu referencia. Este código te ayuda a probar esta tarea y obtener empezaste a crear tu propia aplicación de segmentación de imágenes. Puedes ver, ejecutar y editar el Segmento de imágenes código de ejemplo usando solo el navegador web.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el segmento de imágenes. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Python. Puedes revisar el código fuente para este ejemplo en GitHub

Paquetes

La tarea del segmentador de imágenes de MediaPipe requiere el paquete mediapipe. Puedes instalar el las dependencias requeridas con el siguiente comando:

$ python -m pip install mediapipe

Importaciones

Importa las siguientes clases para acceder a las funciones de tareas del segmento de imágenes:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modelo

La tarea del segmentador de imágenes MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para el segmentador de imágenes, consulta la sección Modelos en la descripción general de la tarea.

Selecciona y descarga el modelo; luego, guárdalo en el directorio de tu proyecto:

model_path = '/absolute/path/to/model.tflite'

Especifica la ruta del modelo dentro del parámetro Model Name, como se muestra a continuación:

base_options = BaseOptions(model_asset_path=model_path)

Crea la tarea

La tarea del segmentador de imágenes MediaPipe usa la función create_from_options para configurar la tarea. La función create_from_options acepta valores para conocer las opciones de configuración que manejar. Para más información sobre la configuración de tareas, consulta Opciones de configuración.

Estos ejemplos también muestran las variaciones de la construcción de tareas para imágenes archivos de video y transmisiones de video en vivo.

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the video mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the live stream mode:
def print_result(result: List[Image], output_image: Image, timestamp_ms: int):
    print('segmented masks size: {}'.format(len(result)))

options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
    

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para las aplicaciones de Python:

Preparar los datos

Prepara tu entrada como un archivo de imagen o un array de NumPy. y, luego, convertirlo en un objeto mediapipe.Image. Si la entrada es un archivo de video o transmitir en vivo desde una cámara web, puedes usar una biblioteca externa, como OpenCV para cargar tus marcos de entrada como NumPy para los diferentes tipos de arrays.

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

# Use OpenCV’s VideoCapture to load the input video.
# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You need the frame rate to calculate the timestamp for each frame.
# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

# Use OpenCV’s VideoCapture to start capturing from the webcam.
# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Para ver un ejemplo de código que muestra la preparación de datos para el Segmentador de imágenes, consulta la ejemplo de código de barras.

Ejecuta la tarea

El segmentador de imágenes utiliza segment, segment_for_video y segment_async. funciones para activar inferencias. Para la segmentación de imágenes, esto implica procesamiento previo de los datos de entrada, ejecución del modelo de segmentación y el procesamiento posterior las salidas del modelo sin procesar a las máscaras segmentadas.

En los siguientes ejemplos de código, se muestra cómo ejecutar el procesamiento con el modelo de tareas.

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
segmented_masks = segmenter.segment(mp_image)
    

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the video mode.
segmented_masks = segmenter.segment_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform image segmentation.
# The results are accessible via the `result_callback` provided in
# the `ImageSegmenterOptions` object.
# The image segmenter must be created with the live stream mode.
segmenter.segment_async(mp_image, frame_timestamp_ms)
    

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes Proporcionamos la marca de tiempo del fotograma de entrada a la tarea del Segmentador de imágenes.
• Cuando se ejecuta en el modelo de imagen o video, la tarea del Segmentador de imágenes bloquear el subproceso actual hasta que termine de procesar la imagen de entrada o marco.

Para ver un ejemplo más completo de cómo ejecutar inferencias del segmentador de imágenes, consulta la ejemplo de código de barras.

Cómo controlar y mostrar resultados

El segmento de imágenes genera una lista de datos de Image. Si output_type es CATEGORY_MASK, el resultado es una lista que contiene una máscara segmentada como una imagen de uint8. El píxel indica el de categoría reconocido de la imagen de entrada. Si output_type es CONFIDENCE_MASK, el resultado es un vector con un tamaño de número de categoría. Cada máscara segmentada es una imagen flotante dentro del rango [0,1], que representa el puntuación de confianza del píxel que pertenece a la categoría.

En las siguientes secciones, se muestran ejemplos de los datos de salida de esta tarea:

Confianza de la categoría

En las siguientes imágenes, se muestra una visualización del resultado de la tarea para una categoría máscara de confianza. El resultado de la máscara de confianza contiene valores flotantes entre [0, 1]

Resultado de la máscara de confianza de imagen y categoría original. Imagen de origen de Pascal VOC 2012 conjunto de datos.

Valor de categoría

En las siguientes imágenes, se muestra una visualización del resultado de la tarea para una categoría de valor. El rango de máscara de categoría es [0, 255] y cada valor de píxel representa el índice de la categoría ganadora del resultado del modelo. La categoría ganadora índice tiene la puntuación más alta entre las categorías que el modelo puede reconocer.

Resultado de imagen original y máscara de categoría. Imagen de origen de Pascal VOC 2012 conjunto de datos.