Guide de segmentation d'image

La tâche "Segmenteur d'images MediaPipe" vous permet de diviser les images en régions en fonction d'éléments prédéfinis catégories. Vous pouvez utiliser cette fonctionnalité pour identifier des objets ou des textures, puis appliquez des effets visuels, comme le floutage de l'arrière-plan. Cette tâche comprend plusieurs modèles spécialement entraînés pour segmenter les personnes et leurs dans les données d'image, y compris:

• Personne et arrière-plan
• Cheveux uniquement
• Cheveux, visage, peau, vêtements et accessoires d'une personne

Cette tâche traite des données d'image à l'aide d'un modèle de machine learning (ML) avec une seule ou un flux vidéo en continu. Elle génère une liste de régions segmentées, représentant des objets ou des zones dans une image, en fonction du modèle que vous choisir.

<ph type="x-smartling-placeholder"></ph> Essayez !arrow_forward

Premiers pas

Commencez à effectuer cette tâche en suivant l'un de ces guides d'implémentation pour votre la plate-forme cible. Ces guides spécifiques à chaque plate-forme vous guident à travers un la mise en œuvre de cette tâche, y compris un modèle recommandé et un exemple de code avec les options de configuration recommandées:

• Android – Code exemple - Guide
• Python – Exemple de code Guide
• Web - Code exemple - Guide

Détails de la tâche

Cette section décrit les fonctionnalités, les entrées, les sorties et la configuration de cette tâche.

Fonctionnalités

• Traitement de l'image d'entrée : le traitement inclut la rotation, le redimensionnement, la normalisation et la conversion de l'espace colorimétrique.

Options de configuration

Cette tâche comporte les options de configuration suivantes:

Modèles

Le segmenteur d'images peut être utilisé avec plusieurs modèles de ML. La plupart des éléments suivants Les modèles de segmentation sont créés et entraînés pour effectuer une segmentation avec des images personnes. Cependant, le modèle DeepLab-v3 est conçu de manière générale outil de segmentation d'images. Sélectionnez le modèle qui convient le mieux à votre application.

Modèle de segmentation des selfies

Ce modèle peut segmenter le portrait d'une personne et peut être utilisé pour remplacer ou modifier l'arrière-plan d'une image. Le modèle génère deux catégories : son parcours à l'index 0 et une personne à l'index 1. Ce modèle possède des versions avec différentes formes d'entrée, y compris une version carrée et une version en mode paysage, peut s'avérer plus efficace pour les applications où l'entrée est toujours cette forme, comme les appels vidéo.

Modèle de segmentation des cheveux

Ce modèle prend une photo d'une personne, localise les cheveux sur sa tête, génère une carte de segmentation d'image pour ses cheveux. Vous pouvez utiliser ce modèle décoloration des cheveux ou application d'autres effets capillaires. Le modèle renvoie ce qui suit : catégories de segmentation:

0 - background
1 - hair

Modèle de segmentation de selfie à plusieurs classes

Ce modèle prend une photo d'une personne et localise des zones pour différentes zones, cheveux, peau et vêtements, puis génère une carte de segmentation d'image pour ces articles. Vous pouvez utiliser ce modèle pour appliquer divers effets aux personnes figurant sur des images ou vidéo. Le modèle génère les catégories de segmentation suivantes:

0 - background
1 - hair
2 - body-skin
3 - face-skin
4 - clothes
5 - others (accessories)

Modèle DeepLab v3

Ce modèle identifie les segments pour un certain nombre de catégories, y compris l'arrière-plan, une personne, un chat, un chien et une plante en pot. Le modèle utilise la pyramide spatiale atrouve le pooling pour capturer des informations de plus longue portée. Pour en savoir plus, consultez DeepLab v3.

Analyses comparatives des tâches

Voici les benchmarks de tâches pour l'ensemble du pipeline, en fonction des tâches pré-entraînées ci-dessus des modèles de ML. Le résultat de la latence correspond à la latence moyenne sur le Pixel 6 en utilisant le processeur / GPU.