Python용 이미지 세분화 가이드

MediaPipe 이미지 세그먼트 도구 작업을 사용하면 사전 정의된 카테고리를 흐리게 처리할 수 있습니다. 이러한 안내에서는 Python 언어로 이미지 세분화 도구를 사용하는 방법을 보여줍니다. 대상 애플리케이션의 기능, 모델, 구성 옵션에 대해 개요를 참조하세요.

코드 예

이미지 세그먼트 도구의 예제 코드는 이 참고하세요. 이 코드는 이 작업을 테스트하고 자체 이미지 세그먼트 애플리케이션 빌드를 시작했습니다. 데이터를 보고, 실행하고, 이미지 세분화 도구 수정 예시 코드 할 수 있습니다.

설정

이 섹션에서는 개발 환경을 설정하는 주요 단계를 설명하고 Image Segmenter를 사용하는 데 도움이 됩니다. 일반적인 정보 다음과 같은 MediaPipe 작업을 사용하기 위한 개발 환경 설정 자세한 내용은 Python 설정 가이드 이 예시의 소스 코드는 GitHub

<ph type="x-smartling-placeholder">

패키지

MediaPipe 이미지 세분화 도구 작업에는 mediapipe 패키지가 필요합니다. Cloud Shell에서 필요한 종속 항목을 다음 명령어로 대체합니다.

$ python -m pip install mediapipe

가져오기

이미지 세그먼트 도구 태스크 함수에 액세스하려면 다음 클래스를 가져옵니다.

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

모델

MediaPipe 이미지 세분화 작업에는 다음과 호환되는 학습된 모델이 필요합니다. 태스크에 맞추는 것입니다. 이미지 세분화 도구에 사용할 수 있는 학습된 모델에 대한 자세한 내용은 다음을 참조하세요. 작업 개요 모델 섹션을 확인합니다.

모델을 선택하고 다운로드한 후 프로젝트 디렉터리에 저장합니다.

model_path = '/absolute/path/to/model.tflite'

아래와 같이 모델 이름 매개변수 내에 모델 경로를 지정합니다.

base_options = BaseOptions(model_asset_path=model_path)

할 일 만들기

MediaPipe 이미지 세분화 도구 작업은 create_from_options 함수를 사용하여 작업을 설정하는 것입니다. create_from_options 함수는 값을 허용함 처리할 구성 옵션을 확인하세요. 태스크 구성에 대한 자세한 내용은 구성 옵션을 참고하세요.

또한 이 샘플은 이미지에 대한 작업 구성의 변형도 보여줍니다. 동영상 파일, 라이브 동영상 스트림 등이 있습니다.

이미지

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:

동영상

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the video mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:

실시간 스트림

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the live stream mode:
def print_result(result: List[Image], output_image: Image, timestamp_ms: int):
    print('segmented masks size: {}'.format(len(result)))

options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:

구성 옵션

이 작업에는 Python 애플리케이션을 위한 다음과 같은 구성 옵션이 있습니다.

옵션 이름 설명 값 범위 기본값
running_mode 작업의 실행 모드를 설정합니다. 세 가지 모드:

IMAGE: 단일 이미지 입력 모드입니다.

동영상: 동영상의 디코딩된 프레임 모드입니다.

LIVE_STREAM: 입력의 라이브 스트림 모드 데이터를 수집할 수 있습니다. 이 모드에서는 resultListener가 결과를 수신하도록 리스너를 설정하기 위해 호출 있습니다. 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
output_category_mask True로 설정하면 세분화 마스크가 출력에 포함됩니다. uint8 이미지로, 각 픽셀 값은 낙찰된 카테고리를 나타냄 값으로 사용됩니다. {True, False} False
output_confidence_masks True로 설정하면 세분화 마스크가 출력에 포함됩니다. 부동 소수점 값 이미지로, 각 부동 소수점 값은 신뢰도를 나타냅니다. 카테고리별 점수 맵입니다. {True, False} True
display_names_locale 작업 모델의 메타데이터입니다(있는 경우). 기본값은 en입니다. 영어입니다. 커스텀 모델의 메타데이터에 현지화된 라벨을 추가할 수 있습니다. TensorFlow Lite Metadata Writer API 사용 언어 코드 en
result_callback 세분화 결과를 수신하도록 결과 리스너를 설정합니다. 이미지 세그먼트 도구가 LIVE_STREAM 모드일 때 비동기식으로 처리됩니다. 달리기 모드가 LIVE_STREAM로 설정된 경우에만 사용할 수 있습니다. 해당 사항 없음 해당 사항 없음

데이터 준비

입력을 이미지 파일 또는 NumPy 배열로 준비합니다. 그런 다음 mediapipe.Image 객체로 변환합니다. 입력이 동영상 파일인 경우 웹캠으로 라이브 스트리밍하는 경우 입력 프레임을 Numpy로 로드하는 OpenCV 배열입니다.

이미지

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

동영상

# Use OpenCV’s VideoCapture to load the input video.
# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You need the frame rate to calculate the timestamp for each frame.
# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)

실시간 스트림

# Use OpenCV’s VideoCapture to start capturing from the webcam.
# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)

이미지 세그먼트 도구를 위한 데이터 준비를 보여주는 코드 예는 다음을 참조하세요. 코드 예를 참고하세요.

작업 실행

이미지 세분화 도구는 segment, segment_for_video, segment_async를 사용합니다. 함수를 사용하여 추론을 트리거합니다. 이미지 분할의 경우 입력 데이터 전처리, 세분화 모델 실행, 후처리 원시 모델이 분류된 마스크에 출력됩니다.

다음 코드 예는 작업 모델로 처리를 실행하는 방법을 보여줍니다.

이미지

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
segmented_masks = segmenter.segment(mp_image)

동영상

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the video mode.
segmented_masks = segmenter.segment_for_video(mp_image, frame_timestamp_ms)

실시간 스트림

# Send live image data to perform image segmentation.
# The results are accessible via the `result_callback` provided in
# the `ImageSegmenterOptions` object.
# The image segmenter must be created with the live stream mode.
segmenter.segment_async(mp_image, frame_timestamp_ms)

다음에 유의하세요.

  • 동영상 모드 또는 라이브 스트림 모드에서 실행하는 경우 이미지 세분화 작업에 입력 프레임의 타임스탬프를 제공합니다.
  • 이미지 또는 동영상 모델에서 실행할 때 이미지 세분화 도구는 입력 이미지 처리가 완료될 때까지 현재 스레드를 차단하거나 있습니다.

이미지 분할기 추론을 실행하는 더 완전한 예는 다음을 참조하세요. 코드 예를 참고하세요.

결과 처리 및 표시

이미지 세그먼트 도구가 Image 데이터 목록을 출력합니다. 만약 output_type는 CATEGORY_MASK, 출력은 목록입니다. uint8 이미지로 분할된 단일 마스크를 포함합니다. 픽셀은 입력 이미지의 인식된 카테고리 색인입니다. output_type가 다음에 해당하는 경우 CONFIDENCE_MASK인 경우 출력은 카테고리 번호의 크기를 가진 벡터입니다. 각 세그먼트화된 마스크는 [0,1] 범위 내의 부동 이미지로, 카테고리에 속하는 픽셀의 신뢰도 점수입니다.

다음 섹션에서는 이 작업의 출력 데이터 예시를 보여줍니다.

카테고리 신뢰도

다음 이미지는 카테고리의 작업 출력을 시각화한 것입니다. 신뢰도 마스크. 신뢰도 마스크 출력에는 [0, 1]

원본 이미지 및 카테고리 신뢰도 마스크 출력. 출처: 파스칼 VOC 2012 데이터 세트입니다.

카테고리 값

다음 이미지는 카테고리의 작업 출력을 시각화한 것입니다. 값 마스크. 카테고리 마스크 범위는 [0, 255]이며 각 픽셀 값입니다. 모델 출력의 우수 카테고리 지수를 나타냅니다. 수상 부문 모델이 인식할 수 있는 카테고리 중 가장 높은 점수를 나타냅니다.

원본 이미지 및 카테고리 마스크 출력. 출처: 파스칼 VOC 2012 데이터 세트입니다.