Guide de segmentation d'image pour Python

La tâche MediaPipe Image Segmenter vous permet de diviser les images en régions en fonction de catégories prédéfinies pour l'application d'effets visuels tels que le floutage de l'arrière-plan. Ces instructions vous expliquent comment utiliser le segmentateur d'images avec le langage Python. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.

Exemple de code

L'exemple de code pour Image Segmenter fournit une implémentation complète de cette tâche en Python à titre de référence. Ce code vous aide à tester cette tâche et à créer votre propre application de segmentation d'images. Vous pouvez afficher, exécuter et modifier l'exemple de code du Segment d'images à l'aide de votre navigateur Web.

Préparation

Cette section décrit les étapes clés de la configuration de votre environnement de développement et de vos projets de code spécifiquement pour l'utilisation de Segmenter d'images. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris sur les exigences de version de la plate-forme, consultez le guide de configuration pour Python. Vous pouvez examiner le code source de cet exemple sur GitHub.

Colis

La tâche MediaPipe Image Segmenter nécessite le package mediapipe. Vous pouvez installer les dépendances requises à l'aide de la commande suivante:

$ python -m pip install mediapipe

Importations

Importez les classes suivantes pour accéder aux fonctions des tâches de Segmenter d'images:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modèle

La tâche MediaPipe Image Segmenter nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le Segment d'images, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

model_path = '/absolute/path/to/model.tflite'

Spécifiez le chemin d'accès du modèle dans le paramètre "Nom du modèle", comme indiqué ci-dessous:

base_options = BaseOptions(model_asset_path=model_path)

Créer la tâche

La tâche MediaPipe Image Segmenter utilise la fonction create_from_options pour configurer la tâche. La fonction create_from_options accepte des valeurs pour les options de configuration à gérer. Pour en savoir plus sur la configuration des tâches, consultez la section Options de configuration.

Ces exemples montrent également les variantes de construction des tâches pour les images, les fichiers vidéo et les flux vidéo en direct.

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the video mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the live stream mode:
def print_result(result: List[Image], output_image: Image, timestamp_ms: int):
    print('segmented masks size: {}'.format(len(result)))

options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
    

Options de configuration

Cette tâche dispose des options de configuration suivantes pour les applications Python:

Préparation des données

Préparez votre entrée en tant que fichier image ou tableau Numpy, puis convertissez-la en objet mediapipe.Image. Si votre entrée est un fichier vidéo ou un flux vidéo en direct à partir d'une webcam, vous pouvez utiliser une bibliothèque externe telle que OpenCV pour charger vos images d'entrée sous forme de tableaux Numpy.

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

# Use OpenCV’s VideoCapture to load the input video.
# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You need the frame rate to calculate the timestamp for each frame.
# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

# Use OpenCV’s VideoCapture to start capturing from the webcam.
# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Pour obtenir un exemple de code illustrant la préparation des données pour le segment d'images, consultez l'exemple de code.

Exécuter la tâche

Le Segmenter d'images utilise les fonctions segment, segment_for_video et segment_async pour déclencher des inférences. Pour la segmentation d'image, cela implique le prétraitement des données d'entrée, l'exécution du modèle de segmentation et le post-traitement des sorties du modèle brut vers les masques segmentés.

Les exemples de code suivants montrent comment exécuter le traitement avec le modèle de tâche.

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
segmented_masks = segmenter.segment(mp_image)
    

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the video mode.
segmented_masks = segmenter.segment_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform image segmentation.
# The results are accessible via the `result_callback` provided in
# the `ImageSegmenterOptions` object.
# The image segmenter must be created with the live stream mode.
segmenter.segment_async(mp_image, frame_timestamp_ms)
    

Veuillez noter les points suivants :

• Lors de l'exécution en mode vidéo ou en mode flux en direct, vous devez également fournir à la tâche de segmentation d'images l'horodatage de l'image d'entrée.
• Lors de l'exécution dans l'image ou le modèle vidéo, la tâche "Segmenter d'images" bloque le thread actuel jusqu'à ce qu'elle ait fini de traiter l'image ou le cadre d'entrée.

Pour obtenir un exemple plus complet d'exécution d'inférences de Segment d'images, consultez l'exemple de code.

Gérer et afficher les résultats

Le Segment d'image génère une liste de données Image. Si output_type est défini sur CATEGORY_MASK, la sortie est une liste contenant un seul masque segmenté sous la forme d'une image uint8. Le pixel indique l'index de catégorie reconnu de l'image d'entrée. Si output_type est défini sur CONFIDENCE_MASK, la sortie est un vecteur dont la taille correspond au numéro de catégorie. Chaque masque segmenté est une image flottante comprise dans la plage [0,1], qui représente le score de confiance du pixel appartenant à la catégorie.

Les sections suivantes présentent des exemples de données de sortie de cette tâche:

Fiabilité de la catégorie

Les images suivantes montrent une visualisation du résultat de la tâche pour un masque de confiance de catégorie. Le résultat du masque de confiance contient des valeurs flottantes comprises entre [0, 1].

Sortie du masque de confiance de la catégorie et de l'image d'origine. Image source de l'ensemble de données Pascal VOC 2012.

Valeur de la catégorie

Les images suivantes montrent une visualisation du résultat de la tâche pour un masque de valeur de catégorie. La plage du masque de catégorie est [0, 255], et chaque valeur de pixel représente l'index de catégorie gagnant de la sortie du modèle. L'indice des catégories gagnantes obtient le score le plus élevé parmi les catégories reconnues par le modèle.

Sortie de l'image d'origine et du masque de catégorie. Image source de l'ensemble de données Pascal VOC 2012.