隆重推出 LiteRT：Google 為裝置端 AI (舊稱 TensorFlow Lite) 打造的高效能執行階段。

本頁面由 Cloud Translation API 翻譯而成。

Android 圖片區隔指南

MediaPipe Image Segmenter 工作可根據預先定義的選項將圖片分成多個區域以便套用背景模糊處理等視覺效果這些操作說明將說明如何搭配 Android 應用程式使用圖片區隔工具。程式碼您可在 GitHub。進一步瞭解功能、模型和設定選項請參閱總覽。

程式碼範例

MediaPipe Tasks 程式碼範例包含兩個簡單的 Android 版 Image Segmenter 應用程式：

這些範例使用實體 Android 裝置上的相機進行以下操作：對即時攝影機畫面執行影像區隔，或選擇圖片後觀看裝置圖片庫中的影片您可以將應用程式做為起點您自己的 Android 應用程式，或是在修改現有應用程式時參照這些內容。 Image Segmenter 範例程式碼 GitHub。

以下各節將套用類別遮罩的圖片區隔工具應用程式。

下載程式碼

以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。

如要下載範例程式碼，請按照下列步驟操作：

使用下列指令複製 git 存放區：

git clone https://github.com/google-ai-edge/mediapipe-samples

您也可以選擇設定 Git 執行個體，以使用稀疏結帳功能。所以您只擁有 Image Segmenter 範例應用程式的檔案：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/image_segmentation/android
```

建立範例程式碼的本機版本後，您可以匯入專案然後執行應用程式如需操作說明，請參閱 Android 設定指南。

重要元件

下列檔案包含這張圖片的重要程式碼區隔範例應用：

ImageSegmenterHelper.kt - 初始化 Image Segmenter 工作並處理模型和委派。
CameraFragment.kt：提供相機的使用者介面和控製程式碼。
GalleryFragment.kt：提供用於選取圖片和影片的使用者介面和控製程式碼檔案。
OverlayView.kt - 處理區隔結果並設定格式。

設定

本節說明設定開發環境的重要步驟，以及程式碼專案使用 Image Segmenter。如需設定開發環境以使用 MediaPipe 工作，包括：平台版本需求，請參閱 Android 設定指南。

依附元件

Image Segmenter 使用 com.google.mediapipe:tasks-vision 程式庫。新增此項目 build.gradle 檔案的依附元件 Android 應用程式開發專案。使用下列指令匯入必要的依附元件下列程式碼：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Image Segmenter 工作需要經過訓練且與此模型相容的模型。工作。如要進一步瞭解圖片區隔工具可用的已訓練模型，請參閱：工作總覽的「模型」一節。

選取並下載模型，然後將模型儲存在專案目錄中：

<dev-project-root>/src/main/assets

使用 BaseOptions.Builder.setModelAssetPath() 方法指定路徑以便訓練模型此方法將在接下來專區。

在圖片區隔工具中範例程式碼模型定義於 ImageSegmenterHelper.kt setupImageSegmenter() 函式中的類別。

建立工作

您可以使用 createFromOptions 函式建立工作。 createFromOptions 函式接受設定選項，包括遮罩輸出內容。如要進一步瞭解工作設定，請參閱設定選項。

Image Segmenter 工作支援下列輸入資料類型：靜態圖片、影片檔案和直播影片串流您必須指定執行模式對應至輸入資料類型的個別項目選擇分頁看看如何建立工作

圖片

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

影片

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

直播

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)

導入 Image Segmenter 程式碼範例後，使用者可在處理模式這種方法使得工作建立程式碼變得更加複雜，可能會不適合您的用途您可以在 ImageSegmenterHelper敬上 setupImageSegmenter() 函式的類別。

設定選項

這項工作有下列 Android 應用程式設定選項：

選項名稱	說明	值範圍	預設值
`runningMode`	設定任務的執行模式。在架構中模式：圖片：單一圖片輸入模式。 VIDEO：影片已解碼的影格模式。 LIVE_STREAM：輸入串流模式擷取的資訊等。在此模式下， resultListener 設定接聽程式來接收結果以非同步方式載入物件	{`IMAGE, VIDEO, LIVE_STREAM`}	`IMAGE`
`outputCategoryMask`	如果設為 `True`，則輸出結果會包含區隔遮罩視為 uint8 圖片，其中每個像素值都代表勝出的類別值。	{`True, False`}	`False`
`outputConfidenceMasks`	如果設為 `True`，則輸出結果會包含區隔遮罩視為浮點值圖片，其中各浮點值代表信心值分數圖。	{`True, False`}	`True`
`displayNamesLocale`	設定標籤語言，供工作模型的中繼資料 (如有)。以下項目的預設值為 `en`：英語。您可以在自訂模型的中繼資料中加入經本地化的標籤使用 TensorFlow Lite Metadata Writer API	語言代碼	en
`resultListener`	設定結果監聽器以接收區隔結果圖片片段工具處於 `LIVE_STREAM` 模式時，以非同步方式顯示。只有在執行模式設為「`LIVE_STREAM`」時才能使用	不適用	不適用
`errorListener`	設定選用的錯誤事件監聽器。	不適用	未設定

準備資料

「圖片區隔工具」適用於圖片、影片檔案和直播影片。工作內容處理資料輸入預先處理作業，包括調整大小、旋轉和值以便處理正規化的情況

您需要將輸入圖片或影格轉換為 com.google.mediapipe.framework.image.MPImage 物件，然後再將該物件傳送至。

圖片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

影片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();

在 Image Segmenter 範例程式碼中，資料準備會在 ImageSegmenterHelper敬上 segmentLiveStreamFrame() 函式的類別。

執行工作

您可以根據自己的執行模式呼叫其他 segment 函式。圖片區隔器函式會傳回輸入圖片或影格

圖片

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);

影片

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);

直播

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);

注意事項：

以錄影模式或直播模式執行時，你也必須請提供輸入畫面的時間戳記，供「圖片區隔工具」工作使用
以圖片或影片模式執行時，影像分割工具工作會阻斷目前的執行緒，直到執行緒處理完成輸入圖片，相框。為避免封鎖使用者介面，請在背景執行緒。
以直播模式執行時，Image Segmenter 工作不會阻斷但會立即傳回這會叫用結果並傳送偵測結果輸入影格如果在圖片分割器時呼叫 segmentAsync 函式工作正忙於處理另一個影格，工作會忽略新的輸入影格。

在圖片區隔程式程式碼範例中，segment 函式是在 ImageSegmenterHelper.kt 檔案。