Guia de segmentação de imagens

A tarefa "Segmento de imagem do MediaPipe" permite dividir imagens em regiões com base em categorias. Use essa funcionalidade para identificar objetos ou texturas e depois aplicar efeitos visuais como o desfoque do plano de fundo. Esta tarefa inclui vários modelos treinados especificamente para a segmentação de pessoas e seus recursos em dados de imagem, incluindo:

• Pessoa e histórico
• Somente cabelo de uma pessoa
• Cabelo, rosto, pele, roupas e acessórios de uma pessoa

Essa tarefa opera em dados de imagem com um modelo de machine learning (ML) imagens ou um stream de vídeo contínuo. Ele gera uma lista de regiões segmentadas, que representam objetos ou áreas em uma imagem, dependendo do modelo que você que você escolher.

Faça um teste!arrow_forward

Começar

Comece a usar esta tarefa seguindo um destes guias de implementação para sua plataforma de destino. Estes guias específicos da plataforma orientam você em um processo implementação desta tarefa, incluindo um modelo recomendado e um exemplo de código com as opções de configuração recomendadas:

• Android - Código exemplo: guia
• Python: exemplo de código Guia
• Web - Código exemplo: guia

Detalhes da tarefa

Esta seção descreve as capacidades, entradas, saídas e configurações dessa tarefa.

Recursos

• Processamento de imagens de entrada: o processamento inclui rotação, redimensionamento, normalização e conversão de espaço de cores.

Opções de configurações

Essa tarefa tem as seguintes opções de configuração:

Modelos

O segmentador de imagens pode ser usado com mais de um modelo de ML. A maioria dos itens a seguir modelos de segmentação são criados e treinados para realizar segmentação com imagens de as pessoas. No entanto, o modelo DeepLab-v3 é criado como um para fins de segmentação de imagens. Selecione o modelo mais adequado para seu aplicativo.

Modelo de segmentação de selfie

Este modelo pode segmentar o retrato de uma pessoa e pode ser usado para substituir ou modificando o plano de fundo de uma imagem. O modelo gera duas categorias, antecedentes no índice 0 e pessoa no índice 1. Este modelo tem versões com diferentes formas de entrada, incluindo uma versão quadrada e uma em paisagem que pode ser mais eficiente para aplicativos em que a entrada é sempre essa forma, como videochamadas.

Modelo de segmentação de cabelos

Esse modelo pega uma imagem de uma pessoa, localiza um cabelo na cabeça e gera um mapa de segmentação de imagens para os cabelos deles. É possível usar esse modelo para recolorir ou aplicar outros efeitos de cabelo. O modelo gera o seguinte categorias de segmentação:

0 - background
1 - hair

Modelo multiclasse de segmentação de selfie

Este modelo tira a imagem de uma pessoa e localiza áreas para diferentes áreas, cabelo, pele e roupas, e gera um mapa de segmentação de imagens para esses itens. Você pode usar esse modelo para aplicar vários efeitos a pessoas em imagens ou vídeo. O modelo gera as seguintes categorias de segmentação:

0 - background
1 - hair
2 - body-skin
3 - face-skin
4 - clothes
5 - others (accessories)

Modelo DeepLab-v3

Esse modelo identifica segmentos para uma série de categorias, incluindo plano de fundo, pessoa, gato, cachorro e vaso de planta. O modelo usa a pirâmide espacial atrosa um pooling para capturar informações de intervalos maiores. Para mais informações, consulte DeepLab-v3 (link em inglês).

Comparativos de mercado de tarefas

Aqui estão os comparativos de mercado das tarefas para todo o pipeline com base nas informações pré-treinadas acima de modelos de machine learning. O resultado da latência é a latência média no Pixel 6 usando CPU / GPU.