Python 的交互式图像分割指南

MediaPipe Interactive Image Segmenter 任务会获取图片中的一个位置， 然后以图片形式返回该对象的分割 数据。这些说明介绍了如何在 Python 应用中使用交互式图像分割器 语言。如需详细了解功能、模型和配置 选项，请参阅概览。

代码示例

交互式图像分割器的示例代码提供了此分割工具的完整实现， 供您参考。此代码可帮助您测试此任务， 开始构建您自己的交互式图像分割应用。您可以 查看、运行和编辑交互式图像分割器 示例代码 只需使用网络浏览器即可。

设置

本部分介绍了设置开发环境和 交互式图像分割器的代码项目。有关 设置开发环境以使用 MediaPipe 任务，包括 平台版本要求，请参阅 Python 设置指南。 您可以在以下位置查看此示例的源代码： GitHub

<ph type="x-smartling-placeholder">

软件包

MediaPipe Interactive Image Segmenter 任务需要 mediapipe 软件包。您可以安装 所需的依赖项：

$ python -m pip install mediapipe

导入

导入以下类以访问交互式图像分割器任务函数：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型号

MediaPipe Interactive Image Segmenter 任务需要一个与此训练兼容的模型， 任务。如需详细了解适用于交互式图像分割器的经过训练的模型，请参阅 任务概览的模型部分。

选择并下载模型，然后将其存储在项目目录中：

model_path = '/absolute/path/to/model.tflite'

在 model_asset_path 参数中指定模型的路径，如下所示 如下：

base_options = BaseOptions(model_asset_path=model_path)

创建任务

MediaPipe Interactive Image Segmenter 任务使用 create_from_options 函数 设置任务。create_from_options 函数接受值 处理配置选项如需详细了解配置 选项，请参阅配置选项。 以下代码演示了如何构建和配置此任务。

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use
output_category_mask 如果设置为 True，则输出将包含细分掩码 作为 uint8 图像，其中每个像素值表示该像素是否属于 该对象位于相关区域。 {True, False} False output_confidence_masks 如果设置为 True，则输出将包含细分掩码 表示为浮点值图片，其中每个浮点值表示置信度 该像素是位于关注区域的对象的一部分。 {True, False} True display_names_locale 设置要用于 任务模型的元数据（如果有）。默认值为 en， 英语。您可以向自定义模型的元数据中添加本地化标签 使用 TensorFlow Lite Metadata Writer API 语言区域代码 en

准备数据

将输入准备为图片文件或 Numpy 数组， 然后将其转换为 mediapipe.Image 对象。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)