此页面由 Cloud Translation API 翻译。

适用于 Android 的图像分割指南

借助 MediaPipe Image Segmenter 任务，您可以根据用于应用视觉效果（例如背景模糊处理）的预定义类别将图片划分为多个区域。以下说明介绍了如何在 Android 应用中使用图像分割器。GitHub 上提供了这些说明中描述的代码示例。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

MediaPipe Tasks 代码示例包含适用于 Android 的 Image Segmenter 应用的两个简单实现：

这些示例使用实体 Android 设备上的相机对实时相机画面执行图像分割，或者您也可以从设备图库中选择图片和视频。您可以使用这些应用作为基础构建您自己的 Android 应用，也可以在修改现有应用时参考。Image Segmenter 示例代码托管在 GitHub 上。

下面几部分将引用带有类别掩码的图片分割器应用。

下载代码

以下说明介绍了如何使用 git 命令行工具创建示例代码的本地副本。

如需下载示例代码，请执行以下操作：

使用以下命令克隆 Git 代码库：

git clone https://github.com/google-ai-edge/mediapipe-samples

（可选）将您的 Git 实例配置为使用稀疏结账，这样您就只有 Image Segmenter 示例应用的文件：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/image_segmentation/android
```

创建示例代码的本地版本后，您可以将项目导入 Android Studio 并运行应用。有关说明，请参阅 Android 设置指南。

关键组件

以下文件包含此图片分割示例应用的关键代码：

ImageSegmenterHelper.kt - 初始化 Image Segmenter 任务，并处理模型和委托选择。
CameraFragment.kt - 提供相机的界面和控制代码。
GalleryFragment.kt - 提供用于选择图片和视频文件的界面和控制代码。
OverlayView.kt - 处理分割结果并设置其格式。

初始设置

本部分介绍了设置开发环境和代码项目以使用 Image Segmenter 的关键步骤。如需了解如何为使用 MediaPipe 任务设置开发环境的一般信息（包括平台版本要求），请参阅 Android 设置指南。

依赖项

Image Segmenter 使用 com.google.mediapipe:tasks-vision 库。请将此依赖项添加到 Android 应用开发项目的 build.gradle 文件中。使用以下代码导入所需的依赖项：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

模型

MediaPipe Image Segmenter 任务需要使用与此任务兼容的经过训练的模型。如需详细了解适用于 Image Segmenter 的经过训练的模型，请参阅任务概览“模型”部分。

选择并下载模型，然后将其存储在项目目录中：

<dev-project-root>/src/main/assets

使用 BaseOptions.Builder.setModelAssetPath() 方法指定模型使用的路径。下一部分的代码示例将引用此方法。

在图片分割器示例代码中，模型在 setupImageSegmenter() 函数的 ImageSegmenterHelper.kt 类中定义。

创建任务

您可以使用 createFromOptions 函数创建任务。createFromOptions 函数接受配置选项，包括掩码输出类型。如需详细了解任务配置，请参阅配置选项。

图像分割器任务支持以下输入数据类型：静态图片、视频文件和实时视频串流。您必须在创建任务时指定与输入数据类型对应的运行模式。选择输入数据类型对应的标签页，以查看如何创建该任务。

映像

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

视频

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

直播

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)

通过图像分割器示例代码实现，用户可以切换处理模式。这种方法会使任务创建代码更加复杂，可能不适合您的用例。您可以通过 setupImageSegmenter() 函数在 ImageSegmenterHelper 类中查看此代码。

配置选项

此任务具有以下 Android 应用的配置选项：

选项名称	说明	值范围	默认值
`runningMode`	设置任务的运行模式。有三种模式： IMAGE：单张图片输入的模式。 VIDEO：视频的已解码帧的模式。 LIVE_STREAM：输入数据（例如来自摄像头）的直播的模式。在此模式下，必须调用 resultListener，以设置用于异步接收结果的监听器。	{`IMAGE, VIDEO, LIVE_STREAM`}	`IMAGE`
`outputCategoryMask`	如果设置为 `True`，则输出会包含一个 uint8 图片形式的分割掩码，其中每个像素值表示胜出类别值。	{`True, False`}	`False`
`outputConfidenceMasks`	如果设置为 `True`，则输出将包含分割掩码（浮点值图片），其中每个浮点值表示类别的置信度分数映射。	{`True, False`}	`True`
`displayNamesLocale`	设置任务模型元数据中提供的显示名（如果有）要使用的标签语言。英语的默认值为 `en`。您可以使用 TensorFlow Lite Metadata Writer API 向自定义模型的元数据添加本地化标签。	语言区域代码	en
`resultListener`	设置结果监听器，以在图像分割器处于直播模式时异步接收分割结果。只能在跑步模式设为“`LIVE_STREAM`”时使用	N/A	N/A
`errorListener`	设置可选的错误监听器。	N/A	未设置

准备数据

Image Segmenter 适用于图片、视频文件和直播视频。该任务会处理数据输入预处理，包括大小调整、旋转和值归一化。

您需要先将输入图片或帧转换为 com.google.mediapipe.framework.image.MPImage 对象，然后再将其传递给图片分割器。

映像

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

视频

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();

在 Image Segmenter 示例代码中，数据准备由 segmentLiveStreamFrame() 函数在 ImageSegmenterHelper 类中处理。

运行任务

您可以根据当前使用的运行模式调用不同的 segment 函数。图片分割器函数会返回输入图片或帧中已识别的片段区域。

映像

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);

视频

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);

直播

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);

请注意以下几点：

在视频模式或直播模式下运行时，您还必须向 Image Segmenter 任务提供输入帧的时间戳。
在图片或视频模式下运行时，Image Segmenter 任务会阻塞当前线程，直到处理完输入图片或帧。为避免阻塞界面，请在后台线程中执行处理。
在直播模式下运行时，Image Segmenter 任务不会阻塞当前线程，但会立即返回。每当处理完输入帧时，它都会使用检测结果调用其结果监听器。如果在图像分割器任务正忙于处理另一帧时调用 segmentAsync 函数，则该任务会忽略新的输入帧。

在图片分割器示例代码中，segment 函数在 ImageSegmenterHelper.kt 文件中定义。