Python 適用的互動式圖片區隔指南

MediaPipe 互動式圖片區隔工作會擷取圖片中的位置，預估該位置的物件邊界，然後以圖片資料的形式傳回物件的區隔。以下操作說明將說明如何搭配 Python 語言使用互動式圖片區隔。如要進一步瞭解此工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

互動式圖片區隔的範例程式碼提供此工作在 Python 中的完整實作，供您參考。這段程式碼可協助您測試這項工作，並開始建構自己的互動式圖片區隔應用程式。您可以使用網路瀏覽器來查看、執行和編輯互動式圖片區隔範例程式碼。

設定

本節說明設定開發環境及專門為使用互動式映像檔區隔程式的程式碼專案。如需瞭解如何使用 MediaPipe 工作設定開發環境的一般資訊，包括平台版本需求，請參閱 Python 設定指南。您可以前往 GitHub 查看本範例的原始碼。

套裝組合

MediaPipe 互動式圖片區隔工作需要 mediapipe 套件。您可以使用下列指令安裝必要的依附元件：

$ python -m pip install mediapipe

匯入

匯入下列類別，即可存取互動式圖片區隔工作函式：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型號

MediaPipe 互動式圖片區隔工作需要與這項工作相容的已訓練模型。如要進一步瞭解互動式圖片區隔的可用已訓練模型，請參閱模型工作總覽。

選取並下載模型，然後將其儲存在專案目錄中：

model_path = '/absolute/path/to/model.tflite'

在 model_asset_path 參數中指定模型的路徑，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

建立工作

MediaPipe 互動式圖片區隔工作會使用 create_from_options 函式設定工作。create_from_options 函式可接受設定選項值來處理。如要進一步瞭解設定選項，請參閱「設定選項」一文。下列程式碼示範如何建構及設定這項工作。

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

設定選項

這項工作的 Python 應用程式設定選項如下：

選項名稱	說明	值範圍	預設值
`output_category_mask`	如果設為 `True`，輸出結果會包含 uint8 圖片的區隔遮罩，其中每個像素值都會指出該像素是否屬於所需區域的物件。	{`True, False`}	`False`
`output_confidence_masks`	如果設為 `True`，輸出結果會包含以浮點值圖片形式的區隔遮罩，其中每個浮點值都代表像素屬於相關位置物件的信心。	{`True, False`}	`True`
`display_names_locale`	設定標籤語言，用於工作模型中繼資料內的顯示名稱 (如有)。英文的預設值是 `en`。您可以使用 TensorFlow Lite Metadata Writer API，在自訂模型的中繼資料中加入本地化標籤。	語言代碼	en

準備資料

將輸入準備為圖片檔或 numpy 陣列，然後再將其轉換為 mediapipe.Image 物件。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

如需互動式圖片區隔資料準備工作的程式碼範例，請參閱程式碼範例。

執行工作

互動式圖片區隔會使用 segment 函式觸發推論。以圖片區隔來說，這包括預先處理輸入資料、執行區隔模型，以及對已分割遮罩的原始模型輸出進行後續處理。

以下程式碼範例顯示如何使用工作模型執行處理作業。

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

如需執行互動式圖片區隔推論的完整範例，請參閱程式碼範例。

處理並顯示結果

互動式圖片區隔的輸出結果是 Image 資料清單，且視您在設定工作時設定的內容而定，可能包含類別遮罩和/或信賴遮罩。將 output_category_mask 設為 True 時，輸出結果會列出包含單一區隔遮罩的 uint8 圖片。像素值會指出該像素是否屬於所需區域的物件。可辨識的輸入圖片類別索引。如果您將 output_confidence_masks 設為 True，輸出結果就會列出包含 [0,1] 範圍內的像素值管道清單，代表所需區域物件的像素可信度分數。

以下各節進一步說明這項工作的輸出資料：

類別遮罩

下圖以視覺化方式呈現類別值遮罩的工作輸出內容，並指出搜尋點區域。每個像素都是 uint8 值，表示像素是否屬於所需區域的物件。第二張圖片上的黑白圓圈代表已選取的興趣區域。

原始圖片和類別遮罩輸出內容。Pascal VOC 2012 資料集的來源映像檔。

信心口罩

可信度遮罩的輸出內容包含每個圖片輸入管道 [0, 1] 之間的浮點值。值越大，代表圖片像素屬於所需區域中的物件，可信度越高。