MediaPipe Image Segmenter 工作可根據預先定義的選項將圖片分成多個區域 以便套用背景模糊處理等視覺效果這些 操作說明將說明如何搭配 Android 應用程式使用圖片區隔工具。程式碼 您可在 GitHub。 進一步瞭解功能、模型和設定選項 請參閱總覽。
程式碼範例
MediaPipe Tasks 程式碼範例包含兩個簡單的 Android 版 Image Segmenter 應用程式:
這些範例使用實體 Android 裝置上的相機進行以下操作: 對即時攝影機畫面執行影像區隔,或選擇圖片後 觀看裝置圖片庫中的影片您可以將應用程式做為起點 您自己的 Android 應用程式,或是在修改現有應用程式時參照這些內容。 Image Segmenter 範例程式碼 GitHub。
以下各節將 套用類別遮罩的圖片區隔工具 應用程式。
下載程式碼
以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。
如要下載範例程式碼,請按照下列步驟操作:
- 使用下列指令複製 git 存放區:
git clone https://github.com/google-ai-edge/mediapipe-samples
- 您也可以選擇設定 Git 執行個體,以使用稀疏結帳功能。
所以您只擁有 Image Segmenter 範例應用程式的檔案:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/image_segmentation/android
建立範例程式碼的本機版本後,您可以匯入專案 然後執行應用程式如需操作說明,請參閱 Android 設定指南。
重要元件
下列檔案包含這張圖片的重要程式碼 區隔範例應用:
- ImageSegmenterHelper.kt - 初始化 Image Segmenter 工作並處理模型和委派 。
- CameraFragment.kt: 提供相機的使用者介面和控製程式碼。
- GalleryFragment.kt: 提供用於選取圖片和影片的使用者介面和控製程式碼 檔案。
- OverlayView.kt - 處理區隔結果並設定格式。
設定
本節說明設定開發環境的重要步驟,以及 程式碼專案使用 Image Segmenter。如需 設定開發環境以使用 MediaPipe 工作,包括: 平台版本需求,請參閱 Android 設定指南。
依附元件
Image Segmenter 使用 com.google.mediapipe:tasks-vision
程式庫。新增此項目
build.gradle
檔案的依附元件
Android 應用程式開發專案。使用下列指令匯入必要的依附元件
下列程式碼:
dependencies {
...
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
型號
MediaPipe Image Segmenter 工作需要經過訓練且與此模型相容的模型。 工作。如要進一步瞭解圖片區隔工具可用的已訓練模型,請參閱: 工作總覽的「模型」一節。
選取並下載模型,然後將模型儲存在專案目錄中:
<dev-project-root>/src/main/assets
使用 BaseOptions.Builder.setModelAssetPath()
方法指定路徑
以便訓練模型此方法將在接下來
專區。
在圖片區隔工具中
範例程式碼
模型定義於 ImageSegmenterHelper.kt
setupImageSegmenter()
函式中的類別。
建立工作
您可以使用 createFromOptions
函式建立工作。
createFromOptions
函式接受設定選項,包括遮罩輸出內容
。如要進一步瞭解工作設定,請參閱
設定選項。
Image Segmenter 工作支援下列輸入資料類型:靜態圖片、 影片檔案和直播影片串流您必須指定執行模式 對應至輸入資料類型的個別項目選擇分頁 看看如何建立工作
圖片
ImageSegmenterOptions options = ImageSegmenterOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.IMAGE) .setOutputCategoryMask(true) .setOutputConfidenceMasks(false) .build(); imagesegmenter = ImageSegmenter.createFromOptions(context, options);
影片
ImageSegmenterOptions options = ImageSegmenterOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.VIDEO) .setOutputCategoryMask(true) .setOutputConfidenceMasks(false) .build(); imagesegmenter = ImageSegmenter.createFromOptions(context, options);
直播
ImageSegmenterOptions options = ImageSegmenterOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.LIVE_STREAM) .setOutputCategoryMask(true) .setOutputConfidenceMasks(false) .setResultListener((result, inputImage) -> { // Process the segmentation result here. }) .setErrorListener((result, inputImage) -> { // Process the segmentation errors here. }) .build() imagesegmenter = ImageSegmenter.createFromOptions(context, options)
導入 Image Segmenter 程式碼範例後,使用者可在
處理模式這種方法使得工作建立程式碼變得更加複雜,
可能會不適合您的用途您可以在
ImageSegmenterHelper
敬上
setupImageSegmenter()
函式的類別。
設定選項
這項工作有下列 Android 應用程式設定選項:
選項名稱 | 說明 | 值範圍 | 預設值 |
---|---|---|---|
runningMode |
設定任務的執行模式。在架構中
模式: 圖片:單一圖片輸入模式。 VIDEO:影片已解碼的影格模式。 LIVE_STREAM:輸入串流模式 擷取的資訊等。 在此模式下, resultListener 設定接聽程式來接收結果 以非同步方式載入物件 |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
outputCategoryMask |
如果設為 True ,則輸出結果會包含區隔遮罩
視為 uint8 圖片,其中每個像素值都代表勝出的類別
值。 |
{True, False } |
False |
outputConfidenceMasks |
如果設為 True ,則輸出結果會包含區隔遮罩
視為浮點值圖片,其中各浮點值代表信心值
分數圖。 |
{True, False } |
True |
displayNamesLocale |
設定標籤語言,供
工作模型的中繼資料 (如有)。以下項目的預設值為 en :
英語。您可以在自訂模型的中繼資料中加入經本地化的標籤
使用 TensorFlow Lite Metadata Writer API |
語言代碼 | en |
resultListener |
設定結果監聽器以接收區隔結果
圖片片段工具處於 LIVE_STREAM 模式時,以非同步方式顯示。
只有在執行模式設為「LIVE_STREAM 」時才能使用 |
不適用 | 不適用 |
errorListener |
設定選用的錯誤事件監聽器。 | 不適用 | 未設定 |
準備資料
「圖片區隔工具」適用於圖片、影片檔案和直播影片。工作內容 處理資料輸入預先處理作業,包括調整大小、旋轉和值 以便處理正規化的情況
您需要將輸入圖片或影格轉換為
com.google.mediapipe.framework.image.MPImage
物件,然後再將該物件傳送至
。
圖片
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load an image on the user’s device as a Bitmap object using BitmapFactory. // Convert an Android’s Bitmap object to a MediaPipe’s Image object. Image mpImage = new BitmapImageBuilder(bitmap).build();
影片
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load a video file on the user's device using MediaMetadataRetriever // From the video’s metadata, load the METADATA_KEY_DURATION and // METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them // to calculate the timestamp of each frame later. // Loop through the video and load each frame as a Bitmap object. // Convert the Android’s Bitmap object to a MediaPipe’s Image object. Image mpImage = new BitmapImageBuilder(frame).build();
直播
import com.google.mediapipe.framework.image.MediaImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Create a CameraX’s ImageAnalysis to continuously receive frames // from the device’s camera. Configure it to output frames in RGBA_8888 // format to match with what is required by the model. // For each Android’s ImageProxy object received from the ImageAnalysis, // extract the encapsulated Android’s Image object and convert it to // a MediaPipe’s Image object. android.media.Image mediaImage = imageProxy.getImage() Image mpImage = new MediaImageBuilder(mediaImage).build();
在 Image Segmenter 範例程式碼中,資料準備會在
ImageSegmenterHelper
敬上
segmentLiveStreamFrame()
函式的類別。
執行工作
您可以根據自己的執行模式呼叫其他 segment
函式。
圖片區隔器函式會傳回
輸入圖片或影格
圖片
ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
影片
// Calculate the timestamp in milliseconds of the current frame. long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count; // Run inference on the frame. ImageSegmenterResult segmenterResult = imagesegmenter.segmentForVideo(image, frameTimestampMs);
直播
// Run inference on the frame. The segmentations results will be available via // the `resultListener` provided in the `ImageSegmenterOptions` when the image // segmenter was created. imagesegmenter.segmentAsync(image, frameTimestampMs);
注意事項:
- 以錄影模式或直播模式執行時,你也必須 請提供輸入畫面的時間戳記,供「圖片區隔工具」工作使用
- 以圖片或影片模式執行時,影像分割工具工作 會阻斷目前的執行緒,直到執行緒處理完成輸入圖片, 相框。為避免封鎖使用者介面,請在 背景執行緒。
- 以直播模式執行時,Image Segmenter 工作不會阻斷
但會立即傳回這會叫用結果
並傳送偵測結果
輸入影格如果在圖片分割器時呼叫
segmentAsync
函式 工作正忙於處理另一個影格,工作會忽略新的輸入影格。
在圖片區隔程式程式碼範例中,segment
函式是在
ImageSegmenterHelper.kt
檔案。
處理及顯示結果
在執行推論時,Image Segmenter 工作會傳回 ImageSegmenterResult
物件,其中包含區隔工作的結果。當內容
輸出內容取決於您在下列情況中設定的 outputType
設定工作。
下列各節說明這項工作的輸出資料範例:
類別可信度
下圖顯示特定類別的工作輸出圖表
以及圖片辨識結果可信度遮罩輸出內容包含介於
[0, 1]
。
原始圖片和類別可信度遮罩輸出內容。來源映像檔 2012 年 Pascal VOC 資料集。
類別值
下圖顯示特定類別的工作輸出圖表
值遮罩。類別遮罩範圍是 [0, 255]
,每個像素值
代表模型輸出的獲勝類別索引。優勝獎項
索引是模型能辨識的類別分數最高。
原始圖片和類別遮罩輸出內容。來源映像檔 2012 年 Pascal VOC 資料集。