全新推出：LiteRT：Google 专为设备端 AI 打造的高性能运行时，以前称为 TensorFlow Lite。

此页面由 Cloud Translation API 翻译。

适用于 Android 的图像分割指南

通过 MediaPipe Image Segmenter 任务，您可以根据预定义的用于应用视觉效果的类别，例如背景模糊处理。这些说明如何将图像分割器与 Android 应用结合使用。代码这些说明中描述的示例可在 GitHub 如需详细了解功能、模型和配置选项部分，请参阅概览。

代码示例

MediaPipe Tasks 代码示例包含适用于 Android 的图片分割器应用：

这些示例使用 Android 实体设备上的相机对实时摄像头画面执行图像分割，从设备图库中挑选视频您可以从这些应用入手自己的 Android 应用，或者在修改现有应用时引用这些指南。通过图片分割器示例代码托管在 GitHub

以下部分介绍了具有类别遮罩的图片分割器应用。

下载代码

以下说明介绍了如何创建示例的本地副本使用 git 命令行工具运行 git 代码库。

如需下载示例代码，请执行以下操作：

使用以下命令克隆 git 代码库：

git clone https://github.com/google-ai-edge/mediapipe-samples

（可选）将您的 Git 实例配置为使用稀疏检出，因此您只有 Image Segmenter 示例应用的文件：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/image_segmentation/android
```

创建示例代码的本地版本后，您可以导入项目进入 Android Studio 并运行应用。有关说明，请参阅 Android 版设置指南。

关键组件

以下文件包含此图片的关键代码细分示例应用：

ImageSegmenterHelper.kt - 初始化 Image Segmenter 任务并处理模型和委托选择。
CameraFragment.kt：提供相机的界面和控制代码。
GalleryFragment.kt：提供用于选择图片和视频的界面和控制代码文件。
OverlayView.kt - 处理分割结果并设置其格式。

设置

本部分介绍了设置开发环境和代码项目使用 Image Segmenter。有关设置开发环境以使用 MediaPipe 任务，包括平台版本要求，请参阅 Android 版设置指南。

依赖项

Image Segmenter 使用 com.google.mediapipe:tasks-vision 库。添加此项依赖项的 build.gradle 文件 Android 应用开发项目。使用以下代码导入所需的依赖项：以下代码：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型号

MediaPipe Image Segmenter 任务需要一个与此训练兼容的模型，任务。如需详细了解适用于图像分割器的经过训练的模型，请参阅任务概览的“模型”部分。

选择并下载模型，然后将其存储在项目目录中：

<dev-project-root>/src/main/assets

使用 BaseOptions.Builder.setModelAssetPath() 方法指定路径模型所用的指标。下一部分的代码示例将引用此方法部分。

在图像分割器中示例代码，该模型在 ImageSegmenterHelper.kt 中定义， setupImageSegmenter() 函数中的类。

创建任务

您可以使用 createFromOptions 函数创建任务。通过 createFromOptions 函数接受配置选项，包括掩码输出。如需详细了解任务配置，请参阅配置选项。

图片分割器任务支持以下输入数据类型：静态图片、视频文件和直播视频流您必须指定运行模式与输入数据类型相对应的日期。选择标签页输入数据类型，以了解如何创建该任务。

映像

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

视频

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

直播

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)

图片分割器示例代码实现允许用户在处理模式这种方法使得任务创建代码更加复杂，可能不适合您的用例。您可以在 ImageSegmenterHelper 类由 setupImageSegmenter() 函数实现。

配置选项

此任务具有以下适用于 Android 应用的配置选项：

选项名称	说明	值范围	默认值
`runningMode`	设置任务的运行模式。有三个模式： IMAGE：单图输入的模式。 VIDEO：视频已解码帧的模式。 LIVE_STREAM：输入流媒体直播模式例如来自相机的数据。在此模式下，resultListener 必须为调用以设置监听器以接收结果异步执行。	{`IMAGE, VIDEO, LIVE_STREAM`}	`IMAGE`
`outputCategoryMask`	如果设置为 `True`，则输出将包含细分掩码表示为 uint8 图片，其中每个像素值都表示胜出的类别值。	{`True, False`}	`False`
`outputConfidenceMasks`	如果设置为 `True`，则输出将包含细分掩码表示为浮点值图片，其中每个浮点值表示置信度该类别的得分图。	{`True, False`}	`True`
`displayNamesLocale`	设置要用于任务模型的元数据（如果有）。默认值为 `en`，英语。您可以向自定义模型的元数据中添加本地化标签使用 TensorFlow Lite Metadata Writer API	语言区域代码	en
`resultListener`	设置结果监听器以接收细分结果在图像分割器处于 `LIVE_STREAM` 模式时异步执行。仅在跑步模式设为“`LIVE_STREAM`”时才能使用	不适用	不适用
`errorListener`	设置一个可选的错误监听器。	不适用	未设置

准备数据

图片分割器适用于图片、视频文件和直播视频。任务处理数据输入预处理，包括调整大小、旋转和值标准化。

您需要将输入图片或帧转换为 com.google.mediapipe.framework.image.MPImage 对象，然后再将其传递给图像分割器。

映像

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

视频

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();

在图像分割器示例代码中，数据准备在 ImageSegmenterHelper 类由 segmentLiveStreamFrame() 函数实现。

运行任务

您可根据正在使用的跑步模式调用不同的 segment 函数。 Image Segmenter 函数会返回输入图片或帧。

映像

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);

视频

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);

直播

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);

请注意以下几点：

在视频模式或直播模式下投放广告时，您还必须为图像分割器任务提供输入帧的时间戳。
在图片模式或视频模式下运行时，Image Segmenter 任务将阻塞当前线程，直到它处理完输入图像，或者帧。为避免阻塞界面，请在后台线程。
在直播模式下运行时，图像分割器任务不会阻止当前线程，但会立即返回。它将调用其结果并在每次处理完一个监听器后将带有检测结果的监听器输入帧。如果在使用 Image Segmenter 时调用 segmentAsync 函数，任务正忙于处理另一个帧，则该任务会忽略新的输入帧。

在图像分割器示例代码中，segment 函数在 ImageSegmenterHelper.kt 文件。