全新推出：LiteRT：Google 专为设备端 AI 打造的高性能运行时，以前称为 TensorFlow Lite。

此页面由 Cloud Translation API 翻译。

适用于 iOS 的图像分割指南

借助图片分割器任务，您可以根据预定义的类别将图片划分为多个区域，并应用背景模糊处理等视觉效果。以下说明介绍了如何将图片分割器与 iOS 应用搭配使用。

这些说明中介绍的代码示例可在 GitHub 上找到。

您可以查看网页演示，了解此任务的实际运用。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

MediaPipe Tasks 代码示例包含适用于 iOS 的图片分割器应用的简单实现。

该示例实现了输出类别掩码的图片分割器。它使用 iOS 实体设备上的摄像头对实时摄像头画面或设备图库中的图片和视频执行图片分割。

您可以将该应用用作您自己的 iOS 应用的起点，也可以在修改现有应用时参考该应用。Image Segmenter 示例代码托管在 GitHub 上。

下载代码

以下说明介绍了如何使用 git 命令行工具创建示例代码的本地副本。

如需下载示例代码，请执行以下操作：

使用以下命令克隆 Git 代码库：

git clone https://github.com/google-ai-edge/mediapipe-samples/

（可选）将您的 Git 实例配置为使用稀疏检出，以便只导出 Image Segmenter 示例应用的文件：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/image_segmentation/ios/
```

创建示例代码的本地版本后，您可以安装 MediaPipe 任务库，使用 Xcode 打开项目并运行应用。如需了解相关说明，请参阅适用于 iOS 的设置指南。

关键组件

以下文件包含 Image Segmenter 示例应用的关键代码：

ImageSegmenterService.swift：初始化图片分割器、处理模型选择，并对输入数据运行推理。
CameraViewController.swift：为实时摄像头画面输入模式实现界面，并直观呈现结果。
MediaLibraryViewController.swift 实现静态图片和视频文件输入模式的界面，并直观呈现结果。

设置

本部分介绍了设置开发环境和代码项目以使用 Image Segmenter 的关键步骤。如需了解有关为使用 MediaPipe 任务设置开发环境的一般信息（包括平台版本要求），请参阅 iOS 设置指南。

依赖项

图片分割器使用 MediaPipeTasksVision 库，必须使用 CocoaPods 进行安装。该库与 Swift 和 Objective-C 应用兼容，并且不需要任何额外的语言特定设置。

如需了解如何在 macOS 上安装 CocoaPods，请参阅 CocoaPods 安装指南。如需了解如何创建包含应用所需 pod 的 Podfile，请参阅使用 CocoaPods。

使用以下代码在 Podfile 中添加 MediaPipeTasksVision pod：

target 'MyImageSegmenterApp' do
  use_frameworks!
  pod 'MediaPipeTasksVision'
end

如果您的应用包含单元测试目标，请参阅 iOS 设置指南，详细了解如何设置 Podfile。

型号

MediaPipe 图片分割器任务需要与此任务兼容的训练模型。如需详细了解可用于图像分割器的经过训练的模型，请参阅任务概览中的“模型”部分。

选择并下载模型，然后使用 Xcode 将其添加到项目目录。如需了解如何向 Xcode 项目添加文件，请参阅管理 Xcode 项目中的文件和文件夹。

使用 BaseOptions.modelAssetPath 属性指定 app bundle 中的模型路径。如需查看代码示例，请参阅下一部分。

创建任务

您可以通过调用图像分割器任务之一来创建该任务。ImageSegmenter(options:) 初始化程序接受配置选项的值。

如果您不需要使用自定义配置选项初始化图像分割器，可以使用 ImageSegmenter(modelPath:) 初始化程序使用默认选项创建图像分割器。如需详细了解配置选项，请参阅配置概览。

图片分割器任务支持 3 种输入数据类型：静态图片、视频文件和实时视频直播。默认情况下，ImageSegmenter(modelPath:) 会为静态图片初始化任务。如果您希望将任务初始化以处理视频文件或实时视频串流，请使用 ImageSegmenter(options:) 指定视频或直播视频流运行模式。实时流式传输模式还需要额外的 imageSegmenterLiveStreamDelegate 配置选项，该选项使图像分割器能够异步向代理传送图像分割结果。

选择与您的运行模式对应的标签页，了解如何创建任务并运行推理。

Swift

Image

import MediaPipeTasksVision

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "tflite")

let options = ImageSegmenterOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .image
options.shouldOutputCategoryMask = true
options.shouldOutputConfidenceMasks = false

let imageSegmenter = try ImageSegmenter(options: options)

视频

import MediaPipeTasksVision

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "tflite")

let options = ImageSegmenterOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .video
options.shouldOutputCategoryMask = true
options.shouldOutputConfidenceMasks = false

let imageSegmenter = try ImageSegmenter(options: options)

直播

import MediaPipeTasksVision

// Class that conforms to the `imageSegmenterLiveStreamDelegate` protocol and
// implements the method that the image segmenter calls once it finishes
// performing segmentation of each input frame.
class ImageSegmenterResultProcessor: NSObject, ImageSegmenterLiveStreamDelegate {

  func imageSegmenter(
    _ imageSegmenter: ImageSegmenter,
    didFinishSegmentation result: ImageSegmenterResult?,
    timestampInMilliseconds: Int,
    error: Error?) {

    // Process the image segmentation result or errors here.

  }
}

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "tflite")

let options = ImageSegmenterOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .liveStream
options.shouldOutputCategoryMask = true
options.shouldOutputConfidenceMasks = false

// Set `imageSegmenterLiveStreamDelegate` to the object of the class that
// confirms to the `ImageSegmenterLiveStreamDelegate` protocol.
let processor = ImageSegmenterResultProcessor()
options.imageSegmenterLiveStreamDelegate = processor

let imageSegmenter = try ImageSegmenter(options: options)

Objective-C

Image

@import MediaPipeTasksVision;

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model"
                                                      ofType:@"tflite"];

MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeImage;
options.shouldOutputCategoryMask = YES;
options.shouldOutputConfidenceMasks = NO;

MPPImageSegmenter *imageSegmenter =
  [[MPPImageSegmenter alloc] initWithOptions:options error:nil];

视频

@import MediaPipeTasksVision;

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model"
                                                      ofType:@"tflite"];

MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeVideo;
options.shouldOutputCategoryMask = YES;
options.shouldOutputConfidenceMasks = NO;

MPPImageSegmenter *imageSegmenter =
  [[MPPImageSegmenter alloc] initWithOptions:options error:nil];

直播

@import MediaPipeTasksVision;

// Class that conforms to the `MPPImageSegmenterLiveStreamDelegate` protocol
// and implements the method that the image segmenter calls once it finishes
// performing segmentation of each input frame.

@interface APPImageSegmenterResultProcessor : NSObject 

@end

@implementation APPImageSegmenterResultProcessor

-   (void)imageSegmenter:(MPPImageSegmenter *)imageSegmenter
    didFinishSegmentationWithResult:(MPPImageSegmenterResult *)imageSegmenterResult
         timestampInMilliseconds:(NSInteger)timestampInMilliseconds
                           error:(NSError *)error {

    // Process the image segmentation result or errors here.

}

@end

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model"
                                                      ofType:@"tflite"];

MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeLiveStream;
options.shouldOutputCategoryMask = YES;
options.shouldOutputConfidenceMasks = NO;

// Set `imageSegmenterLiveStreamDelegate` to the object of the class that
// confirms to the `MPPImageSegmenterLiveStreamDelegate` protocol.
APPImageSegmenterResultProcessor *processor =
  [APPImageSegmenterResultProcessor new];
options.imageSegmenterLiveStreamDelegate = processor;

MPPImageSegmenter *imageSegmenter =
  [[MPPImageSegmenter alloc] initWithOptions:options error:nil];

图片分割器示例代码实现允许用户在处理模式之间切换。这种方法会使任务创建代码变得更复杂，可能不适合您的用例。

配置选项

此任务具有以下适用于 iOS 应用的配置选项：

选项名称	说明	值范围	默认值
`runningMode`	设置任务的运行模式。有三种模式： IMAGE：单图输入的模式。 VIDEO：视频已解码帧的模式。 LIVE_STREAM：输入数据实时流式传输的模式，例如来自摄像头的模式。在此模式下，必须将 `ImageSegmenterLiveStreamDelegate` 设置为实现 `ImageSegmenterLiveStreamDelegate` 的类的实例，以异步接收细分结果。	{`RunningMode.image, RunningMode.video, RunningMode.liveStream`}	`RunningMode.image`
`shouldOutputCategoryMask`	如果设置为 `True`，输出将包含一个作为 uint8 图片的分割掩码，其中每个像素值都表示胜出的类别值。	{`True, False`}	`False`
`shouldOutputConfidenceMasks`	如果设为 `True`，输出将包含作为浮点值图片的细分掩码，其中每个浮点值代表相应类别的置信度得分映射。	{`True, False`}	`True`
`displayNamesLocale`	设置要为任务模型的元数据（如果有）中提供的显示名称使用的标签语言。默认值为 `en`（英语）。您可以使用 TensorFlow Lite Metadata Writer API 将本地化标签添加到自定义模型的元数据中	语言区域代码	en
`result_callback`	设置结果监听器，以便在图片分割器处于 `LIVE_STREAM` 模式时异步接收分割结果。只有在跑步模式设为“`LIVE_STREAM`”时才能使用	不适用	不适用

当运行模式设置为 LIVE_STREAM 时，图像分割器需要额外的 imageSegmenterLiveStreamDelegate 配置选项，这样，图像分割器才能异步传送图像分割结果。代理必须实现 imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:) 方法，Image Segmenter 会在处理对每个帧执行分割的结果后调用该方法。

选项名称	说明	值范围	默认值
`imageSegmenterLiveStreamDelegate`	让图片分割器能够在直播模式下异步接收执行图片分割的结果。实例被设置为此属性的类必须实现 `imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:)` 方法。	不适用	未设置

准备数据

您需要先将输入图片或帧转换为 MPImage 对象，然后才能将其传递给图片分割器。MPImage 支持不同类型的 iOS 图片格式，并且可以在任何运行模式下使用这些格式进行推理。如需详细了解 MPImage，请参阅 MPImage API。

根据您的用例和应用所需的运行模式选择 iOS 映像格式。MPImage 接受 UIImage、CVPixelBuffer 和 CMSampleBuffer iOS 映像格式。

UIImage

UIImage 格式非常适合以下运行模式：

图片：应用软件包、用户图库或文件系统中格式为 UIImage 图片的图片可以转换为 MPImage 对象。
视频：使用 AVAssetImageGenerator 将视频帧提取为 CGImage 格式，然后将其转换为 UIImage 图片。

Swift

// Load an image on the user's device as an iOS `UIImage` object.

// Convert the `UIImage` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(uiImage: image)

Objective-C

// Load an image on the user's device as an iOS `UIImage` object.

// Convert the `UIImage` object to a MediaPipe's Image object having the default
// orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];

该示例使用默认的 UIImage.Orientation.Up 方向初始化 MPImage。您可以使用任何受支持的 UIImage.Orientation 值初始化 MPImage。图片分割器不支持镜像方向，例如 .upMirrored、.downMirrored、.leftMirrored、.rightMirrored。

如需详细了解 UIImage，请参阅 UIImage Apple 开发者文档。

CVPixelBuffer

CVPixelBuffer 格式非常适合用于生成帧并使用 iOS CoreImage 框架进行处理的应用。

CVPixelBuffer 格式非常适合以下运行模式：

图片：在图片运行模式下，使用 iOS 的 CoreImage 框架进行一些处理后生成 CVPixelBuffer 图片的应用可以发送到图片分割器。
视频：视频帧可以转换为 CVPixelBuffer 格式以进行处理，然后以视频模式发送到图片分割器。
直播：使用 iOS 相机生成帧的应用可能会先转换为 CVPixelBuffer 格式进行处理，然后再以直播模式发送到图片分割器。

Swift

// Obtain a CVPixelBuffer.

// Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(pixelBuffer: pixelBuffer)

Objective-C

// Obtain a CVPixelBuffer.

// Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the
// default orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];

如需详细了解 CVPixelBuffer，请参阅 CVPixelBuffer Apple 开发者文档。

CMSampleBuffer

CMSampleBuffer 格式用于存储统一媒体类型的媒体样本，非常适合直播运行模式。来自 iOS 相机的实时帧由 iOS AVCaptureVideoDataOutput 以 CMSampleBuffer 格式异步传送。

Swift

// Obtain a CMSampleBuffer.

// Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(sampleBuffer: sampleBuffer)

Objective-C

// Obtain a `CMSampleBuffer`.

// Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the
// default orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithSampleBuffer:sampleBuffer error:nil];

如需详细了解 CMSampleBuffer，请参阅 CMSampleBuffer Apple 开发者文档。

运行任务

如需运行图片分割器，请使用特定于分配的运行模式的 segment() 方法：

静态图片：segment(image:)
视频：segment(videoFrame:timestampInMilliseconds:)
直播：segmentAsync(image:timestampInMilliseconds:)

以下代码示例展示了如何在这些不同的运行模式下运行 Image Segmenter 的简单示例：

Swift

Image

let result = try imageSegmenter.segment(image: image)

视频

let result = try imageSegmenter.segment(
  videoFrame: image,
  timestampInMilliseconds: timestamp)

直播

try imageSegmenter.segmentAsync(
  image: image,
  timestampInMilliseconds: timestamp)

Objective-C

Image

MPPImageSegmenterResult *result =
  [imageSegmenter segmentImage:image error:nil];

视频

MPPImageSegmenterResult *result =
  [imageSegmenter segmentVideoFrame:image
            timestampInMilliseconds:timestamp
                              error:nil];

直播

BOOL success =
  [imageSegmenter segmentAsyncImage:image
            timestampInMilliseconds:timestamp
                              error:nil];

图片分割器代码示例更详细地展示了每种模式的实现：segment(image:)、segment(videoFrame:timestampInMilliseconds:) 和 segmentAsync(image:timestampInMilliseconds:)。

请注意以下几点：

在视频模式或直播模式下运行时，您还必须向图片分割器任务提供输入帧的时间戳。
在图片模式或视频模式下运行时，图片分割器任务会阻塞当前线程，直到它处理完输入图片或帧为止。为避免阻塞当前线程，请使用 iOS Dispatch 或 NSOperation 框架在后台线程中执行处理。
在直播模式下运行时，图片分割器任务会立即返回，并且不会阻塞当前线程。在处理每个输入帧后，它会使用图像分割器调用 imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:) 方法。图像分割器在专用的串行调度队列上异步调用此方法。如需在界面上显示结果，请在处理结果后将结果调度到主队列。如果在图像分割器任务正忙于处理另一帧时调用 segmentAsync 函数，则图像分割器会忽略新的输入帧。

处理和显示结果

运行推理后，图片分割器任务会返回一个 ImageSegmenterResult 对象，其中包含分割任务的结果。输出内容取决于您在配置任务时设置的输出类型。

以下图片显示了类别值掩码的任务输出的可视化结果。类别掩码范围为 [0, 255]，每个像素值代表模型输出的胜出类别索引。胜出类别索引是模型可以识别的类别中得分最高的类别。

原始图片和类别蒙版输出。来自 Pascal VOC 2012 数据集的源图像。

图片分割器示例代码演示了如何显示图片分割器结果。如需了解详情，请参阅代码示例。