Android 圖片區隔指南

MediaPipe Image Segmenter 工作可根據預先定義的選項將圖片分成多個區域 以便套用背景模糊處理等視覺效果這些 操作說明將說明如何搭配 Android 應用程式使用圖片區隔工具。程式碼 您可在 GitHub。 進一步瞭解功能、模型和設定選項 請參閱總覽

程式碼範例

MediaPipe Tasks 程式碼範例包含兩個簡單的 Android 版 Image Segmenter 應用程式:

這些範例使用實體 Android 裝置上的相機進行以下操作: 對即時攝影機畫面執行影像區隔,或選擇圖片後 觀看裝置圖片庫中的影片您可以將應用程式做為起點 您自己的 Android 應用程式,或是在修改現有應用程式時參照這些內容。 Image Segmenter 範例程式碼 GitHub

以下各節將 套用類別遮罩的圖片區隔工具 應用程式。

下載程式碼

以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。

如要下載範例程式碼,請按照下列步驟操作:

  1. 使用下列指令複製 git 存放區:
    git clone https://github.com/google-ai-edge/mediapipe-samples
    
  2. 您也可以選擇設定 Git 執行個體,以使用稀疏結帳功能。 所以您只擁有 Image Segmenter 範例應用程式的檔案:
    cd mediapipe
    git sparse-checkout init --cone
    git sparse-checkout set examples/image_segmentation/android
    

建立範例程式碼的本機版本後,您可以匯入專案 然後執行應用程式如需操作說明,請參閱 Android 設定指南

重要元件

下列檔案包含這張圖片的重要程式碼 區隔範例應用:

設定

本節說明設定開發環境的重要步驟,以及 程式碼專案使用 Image Segmenter。如需 設定開發環境以使用 MediaPipe 工作,包括: 平台版本需求,請參閱 Android 設定指南

依附元件

Image Segmenter 使用 com.google.mediapipe:tasks-vision 程式庫。新增此項目 build.gradle 檔案的依附元件 Android 應用程式開發專案。使用下列指令匯入必要的依附元件 下列程式碼:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Image Segmenter 工作需要經過訓練且與此模型相容的模型。 工作。如要進一步瞭解圖片區隔工具可用的已訓練模型,請參閱: 工作總覽的「模型」一節

選取並下載模型,然後將模型儲存在專案目錄中:

<dev-project-root>/src/main/assets

使用 BaseOptions.Builder.setModelAssetPath() 方法指定路徑 以便訓練模型此方法將在接下來 專區。

在圖片區隔工具中 範例程式碼 模型定義於 ImageSegmenterHelper.kt setupImageSegmenter() 函式中的類別。

建立工作

您可以使用 createFromOptions 函式建立工作。 createFromOptions 函式接受設定選項,包括遮罩輸出內容 。如要進一步瞭解工作設定,請參閱 設定選項

Image Segmenter 工作支援下列輸入資料類型:靜態圖片、 影片檔案和直播影片串流您必須指定執行模式 對應至輸入資料類型的個別項目選擇分頁 看看如何建立工作

圖片

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

影片

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

直播

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

導入 Image Segmenter 程式碼範例後,使用者可在 處理模式這種方法使得工作建立程式碼變得更加複雜, 可能會不適合您的用途您可以在 ImageSegmenterHelper敬上 setupImageSegmenter() 函式的類別。

設定選項

這項工作有下列 Android 應用程式設定選項:

選項名稱 說明 值範圍 預設值
runningMode 設定任務的執行模式。在架構中 模式:

圖片:單一圖片輸入模式。

VIDEO:影片已解碼的影格模式。

LIVE_STREAM:輸入串流模式 擷取的資訊等。 在此模式下, resultListener 設定接聽程式來接收結果 以非同步方式載入物件
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
outputCategoryMask 如果設為 True,則輸出結果會包含區隔遮罩 視為 uint8 圖片,其中每個像素值都代表勝出的類別 值。 {True, False} False
outputConfidenceMasks 如果設為 True,則輸出結果會包含區隔遮罩 視為浮點值圖片,其中各浮點值代表信心值 分數圖。 {True, False} True
displayNamesLocale 設定標籤語言,供 工作模型的中繼資料 (如有)。以下項目的預設值為 en: 英語。您可以在自訂模型的中繼資料中加入經本地化的標籤 使用 TensorFlow Lite Metadata Writer API 語言代碼 en
resultListener 設定結果監聽器以接收區隔結果 圖片片段工具處於 LIVE_STREAM 模式時,以非同步方式顯示。 只有在執行模式設為「LIVE_STREAM」時才能使用 不適用 不適用
errorListener 設定選用的錯誤事件監聽器。 不適用 未設定

準備資料

「圖片區隔工具」適用於圖片、影片檔案和直播影片。工作內容 處理資料輸入預先處理作業,包括調整大小、旋轉和值 以便處理正規化的情況

您需要將輸入圖片或影格轉換為 com.google.mediapipe.framework.image.MPImage 物件,然後再將該物件傳送至 。

圖片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the users device as a Bitmap object using BitmapFactory.

// Convert an Androids Bitmap object to a MediaPipes Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

影片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the videos metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. Youll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Androids Bitmap object to a MediaPipes Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraXs ImageAnalysis to continuously receive frames
// from the devices camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Androids ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Androids Image object and convert it to
// a MediaPipes Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

在 Image Segmenter 範例程式碼中,資料準備會在 ImageSegmenterHelper敬上 segmentLiveStreamFrame() 函式的類別。

執行工作

您可以根據自己的執行模式呼叫其他 segment 函式。 圖片區隔器函式會傳回 輸入圖片或影格

圖片

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

影片

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

直播

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

注意事項:

  • 以錄影模式或直播模式執行時,你也必須 請提供輸入畫面的時間戳記,供「圖片區隔工具」工作使用
  • 以圖片或影片模式執行時,影像分割工具工作 會阻斷目前的執行緒,直到執行緒處理完成輸入圖片, 相框。為避免封鎖使用者介面,請在 背景執行緒。
  • 以直播模式執行時,Image Segmenter 工作不會阻斷 但會立即傳回這會叫用結果 並傳送偵測結果 輸入影格如果在圖片分割器時呼叫 segmentAsync 函式 工作正忙於處理另一個影格,工作會忽略新的輸入影格。

在圖片區隔程式程式碼範例中,segment 函式是在 ImageSegmenterHelper.kt 檔案。

處理及顯示結果

在執行推論時,Image Segmenter 工作會傳回 ImageSegmenterResult 物件,其中包含區隔工作的結果。當內容 輸出內容取決於您在下列情況中設定的 outputType 設定工作。

下列各節說明這項工作的輸出資料範例:

類別可信度

下圖顯示特定類別的工作輸出圖表 以及圖片辨識結果可信度遮罩輸出內容包含介於 [0, 1]

原始圖片和類別可信度遮罩輸出內容。來源映像檔 2012 年 Pascal VOC 資料集。

類別值

下圖顯示特定類別的工作輸出圖表 值遮罩。類別遮罩範圍是 [0, 255],每個像素值 代表模型輸出的獲勝類別索引。優勝獎項 索引是模型能辨識的類別分數最高。

原始圖片和類別遮罩輸出內容。來源映像檔 2012 年 Pascal VOC 資料集。