Python 的交互式图像分割指南

MediaPipe Interactive Image Segmenter 任务会获取图片中的一个位置，然后以图片形式返回该对象的分割数据。这些说明介绍了如何在 Python 应用中使用交互式图像分割器语言。如需详细了解功能、模型和配置选项，请参阅概览。

代码示例

交互式图像分割器的示例代码提供了此分割工具的完整实现，供您参考。此代码可帮助您测试此任务，开始构建您自己的交互式图像分割应用。您可以查看、运行和编辑交互式图像分割器示例代码只需使用网络浏览器即可。

设置

本部分介绍了设置开发环境和交互式图像分割器的代码项目。有关设置开发环境以使用 MediaPipe 任务，包括平台版本要求，请参阅 Python 设置指南。您可以在以下位置查看此示例的源代码： GitHub

软件包

MediaPipe Interactive Image Segmenter 任务需要 mediapipe 软件包。您可以安装所需的依赖项：

$ python -m pip install mediapipe

导入

导入以下类以访问交互式图像分割器任务函数：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型号

MediaPipe Interactive Image Segmenter 任务需要一个与此训练兼容的模型，任务。如需详细了解适用于交互式图像分割器的经过训练的模型，请参阅任务概览的模型部分。

选择并下载模型，然后将其存储在项目目录中：

model_path = '/absolute/path/to/model.tflite'

在 model_asset_path 参数中指定模型的路径，如下所示如下：

base_options = BaseOptions(model_asset_path=model_path)

创建任务

MediaPipe Interactive Image Segmenter 任务使用 create_from_options 函数设置任务。create_from_options 函数接受值处理配置选项如需详细了解配置选项，请参阅配置选项。以下代码演示了如何构建和配置此任务。

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

output_category_mask 如果设置为 True，则输出将包含细分掩码作为 uint8 图像，其中每个像素值表示该像素是否属于该对象位于相关区域。 {True, False} False output_confidence_masks 如果设置为 True，则输出将包含细分掩码表示为浮点值图片，其中每个浮点值表示置信度该像素是位于关注区域的对象的一部分。 {True, False} True display_names_locale 设置要用于任务模型的元数据（如果有）。默认值为 en，英语。您可以向自定义模型的元数据中添加本地化标签使用 TensorFlow Lite Metadata Writer API 语言区域代码 en

准备数据

将输入准备为图片文件或 Numpy 数组，然后将其转换为 mediapipe.Image 对象。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)