Guía interactiva de segmentación de imágenes para Python

La tarea del Segmentador de imágenes interactiva de MediaPipe toma una ubicación en una imagen y estima los límites de un objeto en esa ubicación y devuelve la segmentación del objeto como imagen de datos no estructurados. En estas instrucciones, se muestra cómo usar el segmentador de imágenes interactivo con la API de Python. idioma. Para obtener más información sobre las capacidades, los modelos y la configuración para realizar esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo del Segmentador de imágenes interactivo brinda una implementación completa de este en Python para tu referencia. Este código te ayuda a probar esta tarea y obtener empezaste a crear tu propia aplicación interactiva de segmentación de imágenes. Puedes ver, ejecutar y editar el Segmentador de imágenes interactivo código de ejemplo usando solo el navegador web.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el segmentador de imágenes interactivo. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Python. Puedes revisar el código fuente para este ejemplo en GitHub

Paquetes

La tarea del Segmentador de imágenes interactiva de MediaPipe requiere el paquete mediapipe. Puedes instalar el las dependencias requeridas con el siguiente comando:

$ python -m pip install mediapipe

Importaciones

Importa las siguientes clases para acceder a las funciones de la tarea del Segmentador de imágenes interactivo:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modelo

La tarea del Segmentador de imágenes interactiva de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para el segmentador de imágenes interactivo, consulta la sección Modelos en la descripción general de la tarea.

Selecciona y descarga el modelo; luego, guárdalo en el directorio de tu proyecto:

model_path = '/absolute/path/to/model.tflite'

Especifica la ruta del modelo dentro del parámetro model_asset_path, como se muestra a continuación:

base_options = BaseOptions(model_asset_path=model_path)

Crea la tarea

La tarea del Segmentador de imágenes interactiva de MediaPipe usa la función create_from_options para configurar la tarea. La función create_from_options acepta valores para conocer las opciones de configuración que manejar. Para obtener más información sobre la configuración consulta Opciones de configuración. En el siguiente código, se muestra cómo compilar y configurar esta tarea.

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para las aplicaciones de Python:

Nombre de la opción	Descripción	Rango de valores	Valor predeterminado
`output_category_mask`	Si se establece en `True`, el resultado incluirá una máscara de segmentación. que una imagen de uint8, donde cada valor de píxel indica si el píxel es parte de el objeto ubicado en el área de interés.	{`True, False`}	`False`
`output_confidence_masks`	Si se establece en `True`, el resultado incluirá una máscara de segmentación. como una imagen de valor flotante, donde cada valor flotante representa la confianza que el píxel sea parte del objeto ubicado en el área de interés.	{`True, False`}	`True`
`display_names_locale`	Configura el idioma de las etiquetas que se usarán para los nombres visibles que se proporcionan en la metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es `en` para Inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado con la API de Metadata Writer de TensorFlow Lite	Código de configuración regional	en

Preparar los datos

Prepara tu entrada como un archivo de imagen o un array de NumPy. y, luego, convertirlo en un objeto mediapipe.Image.

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

Para ver un ejemplo más completo de cómo ejecutar inferencias del Segmentador de imágenes interactivo, consulta el ejemplo de código de barras.

Cómo controlar y mostrar resultados

Los resultados de salida del Segmentador de imágenes interactivo son una lista de datos de Image y pueden incluye una máscara de categoría, máscaras de confianza o ambas, según lo que establezcas. cuando configuraste la tarea. Si estableces output_category_mask a True, el resultado es una lista que contiene solo segmentada como imagen de uint8. El valor de píxel indica si es parte del objeto en el área de interés. de categoría reconocido de la imagen de entrada. Si configura output_confidence_masks como True, el resultado es una lista de canales con valores de píxeles dentro del rango [0,1] que representan la confianza puntuación del píxel que pertenece al objeto en el área de interés.

En las siguientes secciones, se explican con más detalle los datos de salida de esta tarea:

Máscara de categoría

En las siguientes imágenes, se muestra una visualización del resultado de la tarea para una categoría de valor con un área de interés indicada. Cada píxel es un uint8 valor que indica si el píxel es parte del objeto ubicado en el área de interés. El círculo blanco y negro de la segunda imagen indica la imagen o en un área de interés.

Resultado de imagen original y máscara de categoría. Imagen de origen de Pascal VOC 2012 conjunto de datos.

Máscara de confianza

El resultado de una máscara de confianza contiene valores flotantes entre [0, 1] para cada canal de entrada de imagen. Los valores más altos indican una mayor confianza que El píxel de imagen es parte del objeto ubicado en el área de interés.