Python 图像分割指南

借助 MediaPipe Image Segmenter 任务，您可以根据用于应用视觉效果（例如背景模糊处理）的预定义类别将图片划分为多个区域。以下说明介绍了如何在 Python 语言中使用图片分割器。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

Image Segmenter 的示例代码在 Python 中提供了此任务的完整实现，供您参考。此代码可帮助您测试此任务，并开始构建自己的图像分割器应用。只需使用网络浏览器，您就可以查看、运行和修改 Image Segmenter 示例代码。

初始设置

本部分介绍了专门针对使用 Image Segmenter 来设置开发环境和代码项目的关键步骤。如需大致了解如何为使用 MediaPipe 任务设置开发环境（包括平台版本要求），请参阅 Python 设置指南。 您可以在 GitHub 上查看此示例的源代码

软件包

MediaPipe Image Segmenter 任务需要使用 mediapipe 软件包。您可以使用以下命令安装所需的依赖项：

$ python -m pip install mediapipe

导入

导入以下类来访问 Image Segmenter 任务函数：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

模型

MediaPipe Image Segmenter 任务需要使用与此任务兼容的经过训练的模型。如需详细了解适用于图片分割器的经过训练的模型，请参阅任务概览模型部分。

选择并下载模型，然后将其存储在项目目录中：

model_path = '/absolute/path/to/model.tflite'

在 Model Name 参数中指定模型的路径，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

创建任务

MediaPipe Image Segmenter 任务使用 create_from_options 函数来设置该任务。create_from_options 函数接受要处理的配置选项的值。如需详细了解任务配置，请参阅配置选项。

这些示例还展示了图片、视频文件和直播视频流的任务构造变体。

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the video mode:
options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
  

BaseOptions = mp.tasks.BaseOptions
ImageSegmenter = mp.tasks.vision.ImageSegmenter
ImageSegmenterOptions = mp.tasks.vision.ImageSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the live stream mode:
def print_result(result: List[Image], output_image: Image, timestamp_ms: int):
    print('segmented masks size: {}'.format(len(result)))

options = ImageSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO,
    output_category_mask=True)
with ImageSegmenter.create_from_options(options) as segmenter:
    

配置选项

此任务为 Python 应用提供以下配置选项：

准备数据

准备您的输入作为图片文件或 NumPy 数组，然后将其转换为 mediapipe.Image 对象。如果您的输入是视频文件或来自摄像头的直播，您可以使用外部库（如 OpenCV）将输入帧加载为 Numpy 数组。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

# Use OpenCV’s VideoCapture to load the input video.
# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You need the frame rate to calculate the timestamp for each frame.
# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

# Use OpenCV’s VideoCapture to start capturing from the webcam.
# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

如需查看代码示例，了解如何准备图片分割器的数据，请参阅代码示例。

运行任务

图片分割器使用 segment、segment_for_video 和 segment_async 函数来触发推断。对于图像分割，这涉及预处理输入数据、运行分割模型，以及对原始模型输出到分割后的掩码进行后处理。

以下代码示例展示了如何使用任务模型执行处理。

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
segmented_masks = segmenter.segment(mp_image)
    

# Perform image segmentation on the provided single image.
# The image segmenter must be created with the video mode.
segmented_masks = segmenter.segment_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform image segmentation.
# The results are accessible via the `result_callback` provided in
# the `ImageSegmenterOptions` object.
# The image segmenter must be created with the live stream mode.
segmenter.segment_async(mp_image, frame_timestamp_ms)
    

请注意以下几点：

• 在视频模式或直播模式下运行时，您还必须为图像分割器任务提供输入帧的时间戳。
• 在图片或视频模型中运行时，Image Segmenter 任务将阻塞当前线程，直到处理完输入图片或帧。

如需查看运行 Image Segmenter 推断的更完整示例，请参阅代码示例。

处理和显示结果

图像分割器会输出 Image 数据列表。如果 output_type 为 CATEGORY_MASK，则输出是一个列表，其中包含单个分段蒙版（以 uint8 图片的形式表示）。像素表示识别出的输入图片的类别索引。如果 output_type 为 CONFIDENCE_MASK，则输出一个大小为类别编号的矢量。每个分割后的蒙版都是一张 [0,1] 范围内的浮点图片，表示属于该类别的像素的置信度分数。

以下各部分展示了此任务的输出数据示例：

类别置信度

下图显示了类别置信度掩码的任务输出的可视化效果。置信度掩码输出包含介于 [0, 1] 之间的浮点值。

原始图片和类别置信度遮盖输出。来自 Pascal VOC 2012 数据集的来源图片。

类别值

下图显示了类别值掩码的任务输出的可视化效果。类别掩码范围为 [0, 255]，每个像素值代表模型输出的胜出类别索引。胜出类别索引在模型可以识别的类别中得分最高。

原始图片和类别掩码输出。来自 Pascal VOC 2012 数据集的来源图片。