A tarefa MediaPipe Interactive Image Segmenter usa uma localização em uma imagem, estima os limites da um objeto nesse local e retorna a segmentação do objeto como imagem dados. Essas instruções mostram como usar o segmentador de imagens interativo com o Python idioma de destino. Para mais informações sobre recursos, modelos e configurações dessa tarefa, consulte a Visão geral.
Exemplo de código
O código de exemplo para o segmentador de imagem interativo fornece uma implementação completa desse em Python para sua referência. Esse código ajuda a testar a tarefa começou a criar seu próprio aplicativo interativo de segmentação de imagens. Você pode exibir, executar e editar o segmentador de imagens interativas exemplo de código usando apenas seu navegador da Web.
Configuração
Esta seção descreve as principais etapas para configurar seu ambiente de desenvolvimento e projetos de código especificamente para usar o segmentador de imagens interativo. Para informações gerais a configuração do seu ambiente de desenvolvimento para usar tarefas do MediaPipe, incluindo requisitos de versão da plataforma, consulte Guia de configuração para Python. Você pode revisar o código-fonte deste exemplo em GitHub
Pacotes
A tarefa do segmentador de imagem interativo do MediaPipe requer o pacote mediapipe. É possível instalar
as dependências necessárias com o seguinte comando:
$ python -m pip install mediapipe
Importações
Importe as seguintes classes para acessar as funções da tarefa do segmentador de imagens interativas:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Modelo
A tarefa do segmentador de imagem interativo do MediaPipe requer um modelo treinado que seja compatível com essa tarefa. Para mais informações sobre os modelos treinados disponíveis para o segmentador de imagens interativas, consulte a seção de visão geral da tarefa Modelos.
Selecione e faça o download do modelo e armazene-o no diretório do projeto:
model_path = '/absolute/path/to/model.tflite'
Especifique o caminho do modelo no parâmetro model_asset_path, conforme mostrado
abaixo:
base_options = BaseOptions(model_asset_path=model_path)
Criar a tarefa
A tarefa do segmentador de imagem interativo do MediaPipe usa a função create_from_options para
para configurar a tarefa. A função create_from_options aceita valores
das opções de configuração. Para mais informações sobre configurações
opções, consulte Opções de configuração.
O código abaixo demonstra como criar e configurar essa tarefa.
BaseOptions = mp.tasks.BaseOptions InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a image segmenter instance with the image mode: options = InteractiveSegmenterOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.IMAGE, output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK) with InteractiveSegmenter.create_from_options(options) as segmenter: # segmenter is initialized and ready to use
Opções de configuração
Esta tarefa tem as seguintes opções de configuração para aplicativos Python:
| Nome da opção | Descrição | Intervalo de valor | Valor padrão |
|---|---|---|---|
output_category_mask |
Se definido como True, a saída incluirá uma máscara de segmentação
como uma imagem uint8, em que cada valor de pixel indica se o pixel faz parte
o objeto na área de interesse. |
{True, False} |
False |
output_confidence_masks |
Se definido como True, a saída incluirá uma máscara de segmentação
como uma imagem de valor flutuante, em que cada valor flutuante representa a confiança
que o pixel é parte do objeto localizado na área de interesse. |
{True, False} |
True |
display_names_locale |
Define o idioma dos rótulos a serem usados para nomes de exibição fornecidos no
metadados do modelo da tarefa, se disponíveis. O padrão é en para
inglês. É possível adicionar rótulos localizados aos metadados de um modelo personalizado
usando a API Metadata Writer do TensorFlow Lite;
| Código da localidade | en |
Preparar dados
Prepare sua entrada como um arquivo de imagem ou uma matriz numpy,
e depois converter em um objeto mediapipe.Image.
# Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest # Perform image segmentation on the provided single image. # The image segmenter must be created with the image mode. roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT, keypoint=NormalizedKeypoint(x, y)) segmented_masks = segmenter.segment(mp_image, roi)
Para um exemplo mais completo de execução de inferências do segmento de imagem interativo, consulte o exemplo de código.
Gerenciar e exibir resultados
Os resultados para o segmentador de imagem interativo são uma lista de dados Image e podem
incluir uma máscara de categoria, máscaras de confiança ou ambas, dependendo do que você definir
quando você configurou a tarefa. Se você definir
output_category_mask a True, a saída será uma lista contendo
máscara segmentada como uma imagem uint8. O valor do pixel indica se faz parte do
objeto na área de interesse. índice de categoria reconhecido da imagem de entrada. Se
você definir output_confidence_masks como True, a saída será uma lista de canais
que contêm valores de pixel no intervalo [0,1], representando a confiança
pontuação do pixel que pertence ao objeto na área de interesse.
As seções a seguir explicam melhor os dados de saída dessa tarefa:
Máscara de categoria
As imagens a seguir mostram uma visualização da saída da tarefa para uma categoria
máscara de valor com a indicação de uma área de interesse. Cada pixel é um uint8.
que indica se o pixel faz parte do objeto localizado na área de
interesse. O círculo preto e branco na segunda imagem indica o
área de interesse.
Imagem original e saída de máscara de categoria. Imagem de origem do Pascal VOC 2012 (em inglês) no conjunto de dados.
Máscara de confiança
A saída de uma máscara de confiança contém valores flutuantes entre [0, 1] para
para cada canal de entrada de imagem. Valores mais altos indicam uma confiança maior de que
o pixel da imagem faz parte do objeto localizado na área de interesse.