Python용 대화형 이미지 세분화 가이드

MediaPipe 대화형 이미지 세그멘터 작업은 이미지에서 위치를 가져와 각 영역의 경계를 추정합니다. 해당 위치에 객체를 저장하고, 객체의 세분화를 이미지로 반환합니다. 데이터를 수집하는 데 사용됩니다 이 안내에서는 Python과 함께 대화형 이미지 세분화 도구를 사용하는 방법을 보여줍니다. 있습니다. 기능, 모델, 구성에 대한 자세한 내용은 개요를 참조하세요.

코드 예

대화형 이미지 세그먼트 도구의 예제 코드는 이 참고하세요. 이 코드는 이 작업을 테스트하고 대화형 이미지 분할 애플리케이션을 구축하기 시작했습니다. 다음과 같은 작업을 할 수 있습니다. 대화형 이미지 세분화 도구 보기, 실행 및 수정 예시 코드 할 수 있습니다.

설정

이 섹션에서는 개발 환경을 설정하는 주요 단계를 설명하고 대화형 이미지 세그먼테이터를 사용하는 방법에 대해 이야기해 보겠습니다 일반적인 정보 다음과 같은 MediaPipe 작업을 사용하기 위한 개발 환경 설정 자세한 내용은 Python 설정 가이드 이 예시의 소스 코드는 GitHub

패키지

MediaPipe 대화형 이미지 세분화 도구 작업에는 mediapipe 패키지가 필요합니다. Cloud Shell에서 필요한 종속 항목을 다음 명령어로 대체합니다.

$ python -m pip install mediapipe

가져오기

다음 클래스를 가져와 대화형 이미지 세분화 도구 작업에 액세스합니다.

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

모델

MediaPipe 대화형 이미지 세분화 작업에는 다음과 호환되는 학습된 모델이 필요합니다. 태스크에 맞추는 것입니다. 대화형 이미지 세분화 도구에 사용할 수 있는 학습된 모델에 대한 자세한 내용은 다음을 참조하세요. 작업 개요 모델 섹션을 확인합니다.

모델을 선택하고 다운로드한 후 프로젝트 디렉터리에 저장합니다.

model_path = '/absolute/path/to/model.tflite'

다음과 같이 model_asset_path 매개변수 내에 모델 경로를 지정합니다. 아래:

base_options = BaseOptions(model_asset_path=model_path)

할 일 만들기

MediaPipe 대화형 이미지 세분화 도구 작업은 create_from_options 함수를 사용하여 작업을 설정하는 것입니다. create_from_options 함수는 값을 허용함 처리할 구성 옵션을 확인하세요. 구성에 관한 자세한 내용은 옵션은 구성 옵션을 참고하세요. 다음 코드는 이 작업을 빌드하고 구성하는 방법을 보여줍니다.

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

구성 옵션

이 작업에는 Python 애플리케이션을 위한 다음과 같은 구성 옵션이 있습니다.

데이터 준비

입력을 이미지 파일 또는 NumPy 배열로 준비합니다. 그런 다음 mediapipe.Image 객체로 변환합니다.

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

대화형 이미지 분할기 추론을 실행하는 더 완전한 예는 다음을 참조하세요. 코드 예를 참고하세요.

결과 처리 및 표시

대화형 이미지 세분화 도구의 출력 결과는 Image 데이터 목록이며 설정한 값에 따라 카테고리 마스크나 신뢰 마스크 또는 둘 다를 포함할 수 있습니다. 태스크를 구성한 시점입니다. 만약 output_category_mask~True인 경우 출력은 단일 uint8 이미지로 분할된 마스크. 픽셀 값은 찾아낼 수 있습니다. 입력 이미지의 인식된 카테고리 색인입니다. 만약 output_confidence_masks를 True로 설정하면 출력은 채널 목록이 신뢰도를 나타내는 [0,1] 범위 내의 픽셀 값 포함 해당 영역에 있는 객체에 속하는 픽셀의 점수입니다.

다음 섹션에서는 이 작업의 출력 데이터를 자세히 설명합니다.

카테고리 마스크

다음 이미지는 카테고리의 작업 출력을 시각화한 것입니다. 값 마스크를 반환합니다. 각 픽셀은 uint8임 픽셀이 있습니다. 두 번째 이미지의 흑백 원은 제공합니다.

원본 이미지 및 카테고리 마스크 출력. 출처: 파스칼 VOC 2012 데이터 세트입니다.

신뢰도 마스크

신뢰도 마스크의 출력에는 다음에 대한 [0, 1] 사이의 부동 소수점 값이 포함됩니다. 각 이미지 입력 채널에 적용됩니다. 값이 클수록 이미지 픽셀은 관심 영역에 있는 객체의 일부입니다.