此页面由 Cloud Translation API 翻译。

Python 的交互式图像分割指南

MediaPipe Interactive Image Segmenter 任务可获取图片中的某个位置，估算该对象在该位置的边界，并以图片数据的形式返回对象的分割结果。以下说明介绍了如何在 Python 语言中使用交互式图像分割器。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

Interactive Image Segmenter 的示例代码在 Python 中提供了此任务的完整实现，供您参考。此代码可帮助您测试此任务，并开始构建您自己的交互式图像分割应用。只需使用网络浏览器，您就可以查看、运行和修改 Interactive Image Segmenter 示例代码。

初始设置

本部分介绍了专门针对使用交互式图像分割器来设置开发环境和代码项目的关键步骤。如需大致了解如何为使用 MediaPipe 任务设置开发环境（包括平台版本要求），请参阅 Python 设置指南。您可以在 GitHub 上查看此示例的源代码

软件包

MediaPipe 交互式图像分割器任务需要使用 mediapipe 软件包。您可以使用以下命令安装所需的依赖项：

$ python -m pip install mediapipe

导入

导入以下类来访问交互式图像分割器任务函数：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

模型

MediaPipe Interactive Image Segmenter 任务需要使用与此任务兼容的经过训练的模型。如需详细了解交互式图片分割器可用的经过训练的模型，请参阅任务概览模型部分。

选择并下载模型，然后将其存储在项目目录中：

model_path = '/absolute/path/to/model.tflite'

在 model_asset_path 参数中指定模型的路径，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

创建任务

MediaPipe Interactive Image Segmenter 任务使用 create_from_options 函数来设置该任务。create_from_options 函数接受要处理的配置选项的值。如需详细了解配置选项，请参阅配置选项。以下代码演示了如何构建和配置此任务。

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

配置选项

此任务为 Python 应用提供以下配置选项：

选项名称	说明	值范围	默认值
`output_category_mask`	如果设置为 `True`，则输出会包含一个 uint8 图片形式的分割掩码，其中每个像素值都会指示相应像素是否属于位于相关区域的对象的一部分。	{`True, False`}	`False`
`output_confidence_masks`	如果设置为 `True`，则输出会包括一个浮点值图片形式的分割掩码，其中每个浮点值表示相应像素属于位于相关区域的对象的置信度。	{`True, False`}	`True`
`display_names_locale`	设置任务模型元数据中提供的显示名（如果有）要使用的标签语言。英语的默认值为 `en`。您可以使用 TensorFlow Lite Metadata Writer API 向自定义模型的元数据添加本地化标签。	语言区域代码	en

准备数据

准备您的输入作为图片文件或 NumPy 数组，然后将其转换为 mediapipe.Image 对象。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

如需查看代码示例，了解如何准备 Interactive Image Segmenter 数据，请参阅代码示例。

运行任务

交互式图像分割器使用 segment 函数来触发推断。对于图片分割，包括预处理输入数据、运行分割模型，以及对原始模型输出到分割后的掩码进行后处理。

以下代码示例展示了如何使用任务模型执行处理。

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

如需查看运行 Interactive Image Segmenter 推断的更完整示例，请参阅代码示例。

处理和显示结果

Interactive Image Segmenter 的输出结果是 Image 数据的列表，且可能包含类别掩码和/或置信度掩码，具体取决于您在配置任务时进行设置。如果您将 output_category_mask 设置为 True，则输出是一个包含单个分段掩码的列表（采用 uint8 图片格式）。像素值指示它是否属于感兴趣区域的对象的一部分，也是输入图片中识别出的类别索引。如果您将 output_confidence_masks 设置为 True，则输出是一个通道列表，其中包含 [0,1] 范围内的像素值，表示相关区域所属对象的像素置信度分数。

以下部分进一步介绍了此任务的输出数据：

类别掩码

下图显示了类别值掩码的任务输出的可视化结果，其中指示了地图注点区域。每个像素都是一个 uint8 值，用于指示该像素是否属于位于相关区域的对象的一部分。第二张图片上的黑白圆圈表示感兴趣的选定区域。

原始图片和类别掩码输出。来自 Pascal VOC 2012 数据集的来源图片。

置信度掩码

对于每个图片输入通道，置信度掩码的输出包含介于 [0, 1] 之间的浮点值。值越高，表示图片像素是位于相关区域的对象的一部分的置信度越高。