此页面由 Cloud Translation API 翻译。

适用于 Android 的交互式图像分割指南

MediaPipe Interactive Image Segmenter 任务可获取图片中的某个位置，估算该对象在该位置的边界，并以图片数据的形式返回对象的分割结果。以下说明介绍了如何在 Android 应用中使用交互式图像分割器。GitHub 上提供了这些说明中介绍的代码示例。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

MediaPipe Tasks 代码示例简单实现了一款 Android 版交互式图像分割器应用。该示例适用于从设备图库中选择的图片。

您可以使用该应用作为基础来开发自己的 Android 应用，也可以在修改现有应用时参考该应用。Interactive Image Segmenter 示例代码托管在 GitHub 上。

下载代码

以下说明介绍了如何使用 git 命令行工具创建示例代码的本地副本。

如需下载示例代码，请执行以下操作：

使用以下命令克隆 Git 代码库：

git clone https://github.com/google-ai-edge/mediapipe-samples

（可选）将您的 Git 实例配置为使用稀疏结账，这样您就只有 Interactive Image Segmenter 示例应用的文件：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/interactive_segmentation/android
```

创建示例代码的本地版本后，您可以将项目导入 Android Studio 并运行应用。有关说明，请参阅 Android 设置指南。

关键组件

以下文件包含此图片分割示例应用的关键代码：

InteractiveSegmentationHelper.kt - 初始化 Interactive Image Segmenter 任务并处理模型和委托选择。
OverlayView.kt - 处理分割结果并设置其格式。

初始设置

本部分介绍了设置开发环境和代码项目以使用交互式图像分割器的关键步骤。如需了解如何为使用 MediaPipe 任务设置开发环境的一般信息（包括平台版本要求），请参阅 Android 设置指南。

依赖项

Interactive Image Segmenter 使用 com.google.mediapipe:tasks-vision 库。请将此依赖项添加到 Android 应用开发项目的 build.gradle 文件中。使用以下代码导入所需的依赖项：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

模型

MediaPipe Interactive Image Segmenter 任务需要使用与此任务兼容的经过训练的模型。如需详细了解交互式图片分割器可用的经过训练的模型，请参阅任务概览“模型”部分。

选择并下载模型，然后将其存储在项目目录中：

<dev-project-root>/src/main/assets

使用 BaseOptions.Builder.setModelAssetPath() 方法指定模型使用的路径。下一部分的代码示例展示了此方法。

在交互式图片分割器示例代码中，模型在 setupInteractiveSegmenter() 函数的 InteractiveSegmenterHelper.kt 类中定义。

创建任务

您可以使用 createFromOptions 函数创建任务。createFromOptions 函数接受配置选项，包括遮盖输出类型。如需详细了解配置选项，请参阅配置概览。

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

如需查看设置此任务的详细示例，请参阅 InteractiveSegmenterHelper 类 setupInteractiveSegmenter() 函数。

配置选项

此任务具有以下 Android 应用的配置选项：

选项名称	说明	值范围	默认值
`outputCategoryMask`	如果设置为 `True`，则输出会包含一个 uint8 图片形式的分割掩码，其中每个像素值都会指示相应像素是否属于位于相关区域的对象的一部分。	{`True, False`}	`False`
`outputConfidenceMasks`	如果设置为 `True`，则输出会包括一个浮点值图片形式的分割掩码，其中每个浮点值表示相应像素属于位于相关区域的对象的置信度。	{`True, False`}	`True`
`displayNamesLocale`	设置任务模型元数据中提供的显示名（如果有）要使用的标签语言。英语的默认值为 `en`。您可以使用 TensorFlow Lite Metadata Writer API 向自定义模型的元数据添加本地化标签。	语言区域代码	en
`errorListener`	设置可选的错误监听器。	N/A	未设置

准备数据

Interactive Image Segmenter 使用图片，其任务会处理数据输入预处理，包括大小调整、旋转和值归一化。您需要先将输入图片转换为 com.google.mediapipe.framework.image.MPImage 对象，然后再将其传递给任务。

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

在 Interactive Image Segmenter 示例代码中，数据准备由 segment() 函数在 InteractiveSegmenterHelper 类中处理。

运行任务

调用 segment 函数以运行预测并生成细分。交互式图像分割器任务会返回输入图片内已识别的片段区域。

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

在交互式图像分割器示例代码中，segment 函数在 InteractiveSegmenterHelper.kt 文件中定义。

处理和显示结果

运行推理时，Interactive Image Segmenter 任务会返回一个包含分割任务结果的 ImageSegmenterResult 对象。输出内容可能包括类别掩码和/或置信度掩码，具体取决于您在配置任务时设置的内容。

以下部分进一步介绍了此任务的输出数据：

类别掩码

下图显示了类别值掩码的任务输出的可视化结果，其中指示了地图注点区域。每个像素都是一个 uint8 值，用于指示该像素是否属于位于相关区域的对象的一部分。第二张图片上的黑白圆圈表示感兴趣的选定区域。

原始图片和类别掩码输出。来自 Pascal VOC 2012 数据集的来源图片。

置信度掩码

对于每个图片输入通道，置信度掩码的输出包含介于 [0, 1] 之间的浮点值。值越高，表示图片像素是位于相关区域的对象的一部分的置信度越高。