Guide de segmentation d'image pour Python

La tâche de segmentation d'images MediaPipe vous permet de diviser les images en régions en fonction de catégories prédéfinies pour appliquer des effets visuels tels que le floutage de l'arrière-plan. Ces instructions vous expliquent comment utiliser le segmenteur d'images avec le langage Python. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code pour Image Segmenter fournit une implémentation complète de cette tâche en Python pour référence. Ce code vous aide à tester cette tâche et à commencer à créer votre propre application de segmentation d'images. Vous pouvez afficher, exécuter et modifier l'exemple de code du segmenteur d'images à l'aide de votre navigateur Web.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement et vos projets de code spécifiquement pour utiliser Image Segmenter. Pour en savoir plus sur la configuration de votre environnement de développement afin d'utiliser les tâches MediaPipe, y compris les exigences concernant les versions de la plate-forme, consultez le guide de configuration pour Python. Vous pouvez consulter le code source de cet exemple sur GitHub.

Colis

La tâche de segmentation d'image MediaPipe nécessite le package mediapipe. Vous pouvez installer les dépendances requises à l'aide de la commande suivante:

$ python -m pip install mediapipe

Importations

Importez les classes suivantes pour accéder aux fonctions de la tâche Image Segmenter:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modèle

La tâche de segmentation d'images MediaPipe nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Image Segmenter, consultez la section Modèles de la présentation de la tâche.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

model_path = '/absolute/path/to/model.tflite'

Spécifiez le chemin d'accès au modèle dans le paramètre "Nom du modèle", comme indiqué ci-dessous:

base_options = BaseOptions(model_asset_path=model_path)

Créer la tâche

La tâche de segmentation d'image MediaPipe utilise la fonction create_from_options pour configurer la tâche. La fonction create_from_options accepte les valeurs que les options de configuration doivent gérer. Pour en savoir plus sur la configuration des tâches, consultez la section Options de configuration.

Ces exemples montrent également les variations de la construction de la tâche pour les images, les fichiers vidéo et les diffusions vidéo en direct.

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the video mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the live stream mode:
def print_result(result: List[Image], output_image: Image, timestamp_ms: int):
    print('segmented masks size: {}'.format(len(result)))

options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
    

Options de configuration

Cette tâche propose les options de configuration suivantes pour les applications Python:

Préparer les données

Préparez votre entrée en tant que fichier image ou tableau numpy, puis convertissez-la en objet mediapipe.Image. Si votre entrée est un fichier vidéo ou une diffusion en direct depuis une webcam, vous pouvez utiliser une bibliothèque externe telle que OpenCV pour charger vos frames d'entrée en tant que tableaux numpy.

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

# Use OpenCV’s VideoCapture to load the input video.
# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You need the frame rate to calculate the timestamp for each frame.
# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

# Use OpenCV’s VideoCapture to start capturing from the webcam.
# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Pour obtenir un exemple de code illustrant la préparation des données pour Image Segmenter, consultez l'exemple de code.

Exécuter la tâche

Le segmenteur d'images utilise les fonctions segment, segment_for_video et segment_async pour déclencher des inférences. Pour la segmentation d'images, cela implique de prétraiter les données d'entrée, d'exécuter le modèle de segmentation et de post-traiter les sorties du modèle brut dans les masques segmentés.

Les exemples de code suivants montrent comment exécuter le traitement avec le modèle de tâche.

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
segmented_masks = segmenter.segment(mp_image)
    

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the video mode.
segmented_masks = segmenter.segment_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform image segmentation.
# The results are accessible via the `result_callback` provided in
# the `ImageSegmenterOptions` object.
# The image segmenter must be created with the live stream mode.
segmenter.segment_async(mp_image, frame_timestamp_ms)
    

Veuillez noter les points suivants :

• Lorsque vous exécutez le mode vidéo ou le mode diffusion en direct, vous devez également fournir à la tâche de segmentation d'image le code temporel du frame d'entrée.
• Lors de l'exécution dans le modèle d'image ou de vidéo, la tâche de segmentation d'image bloque le thread actuel jusqu'à ce qu'elle ait terminé de traiter l'image ou le frame d'entrée.

Pour obtenir un exemple plus complet d'exécution d'inférences Image Segmenter, consultez l'exemple de code.

Gérer et afficher les résultats

Le segmenteur d'images génère une liste de données Image. Si output_type est CATEGORY_MASK, la sortie est une liste contenant un masque segmenté unique en tant qu'image uint8. Le pixel indique l'indice de catégorie reconnu de l'image d'entrée. Si output_type est CONFIDENCE_MASK, la sortie est un vecteur de taille égale au numéro de catégorie. Chaque masque segmenté est une image à virgule flottante dans la plage [0,1], représentant le score de confiance du pixel appartenant à la catégorie.

Les sections suivantes présentent des exemples des données de sortie de cette tâche:

Confiance de la catégorie

Les images suivantes montrent une visualisation de la sortie de la tâche pour un masque de confiance de catégorie. La sortie du masque de confiance contient des valeurs flottantes comprises entre [0, 1].

Image d'origine et sortie du masque de confiance de la catégorie. Image source de l'ensemble de données Pascal VOC 2012.

Valeur de la catégorie

Les images suivantes montrent une visualisation de la sortie de la tâche pour un masque de valeur de catégorie. La plage du masque de catégorie est [0, 255], et chaque valeur de pixel représente l'indice de catégorie gagnante de la sortie du modèle. L'indice de catégorie gagnante affiche le score le plus élevé parmi les catégories que le modèle peut reconnaître.

Image d'origine et sortie du masque de catégorie. Image source de l'ensemble de données Pascal VOC 2012.