このページは Cloud Translation API によって翻訳されました。

Python のインタラクティブ画像セグメンテーションガイド

MediaPipe のインタラクティブ画像セグメンテーションタスクは、画像内の位置を取得し、その位置にあるオブジェクトの境界を推定して、オブジェクトのセグメンテーションを画像データとして返します。ここでは、Python 言語でインタラクティブ画像セグメンテーションを使用する方法について説明します。このタスクの機能、モデル、構成オプションの詳細については、概要をご覧ください。

サンプルコード

インタラクティブ画像セグメンテーションのサンプルコードは、参考用に、このタスクの Python での完全な実装を示しています。このコードは、このタスクをテストし、独自のインタラクティブな画像セグメンテーションアプリケーションの構築を始めるのに役立ちます。ウェブブラウザだけで、インタラクティブ画像セグメンテーションのサンプルコードの表示、実行、編集を行うことができます。

セットアップ

このセクションでは、インタラクティブ画像セグメンテーションを使用するための開発環境とコードプロジェクトを設定する際の主な手順について説明します。プラットフォームのバージョン要件など、MediaPipe タスクを使用するための開発環境の設定に関する一般的な情報については、Python の設定ガイドをご覧ください。この例のソースコードは GitHub で確認できます。

パッケージ

MediaPipe のインタラクティブ画像セグメンテーションタスクには mediapipe パッケージが必要です。必要な依存関係は、次のコマンドを使用してインストールできます。

$ python -m pip install mediapipe

インポート

次のクラスをインポートして、インタラクティブ画像セグメンテーションタスク関数にアクセスします。

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

モデル

MediaPipe インタラクティブ画像セグメンテーションタスクには、このタスクと互換性のあるトレーニング済みモデルが必要です。インタラクティブ画像セグメンテーションで使用可能なトレーニング済みモデルの詳細については、タスクの概要のモデルセクションをご覧ください。

モデルを選択してダウンロードし、プロジェクトディレクトリに保存します。

model_path = '/absolute/path/to/model.tflite'

次のように、model_asset_path パラメータ内にモデルのパスを指定します。

base_options = BaseOptions(model_asset_path=model_path)

タスクを作成する

MediaPipe のインタラクティブ画像セグメンタタスクは、create_from_options 関数を使用してタスクを設定します。create_from_options 関数は、処理する構成オプションの値を受け入れます。構成オプションの詳細については、構成オプションをご覧ください。次のコードは、このタスクをビルドして構成する方法を示しています。

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

構成オプション

このタスクには、Python アプリケーション用に次の構成オプションがあります。

オプション名	説明	値の範囲	デフォルト値
`output_category_mask`	`True` に設定すると、出力には uint8 画像としてセグメンテーションマスクが含まれます。各ピクセル値は、ピクセルが対象領域にあるオブジェクトの一部かどうかを示します。	{`True, False`}	`False`
`output_confidence_masks`	`True` に設定すると、出力には浮動小数点値の画像としてセグメンテーションマスクが含まれます。各浮動小数点値は、ピクセルが対象領域にあるオブジェクトの一部であるという信頼度を表します。	{`True, False`}	`True`
`display_names_locale`	タスクのモデルのメタデータで提供される表示名に使用するラベルの言語を設定します（利用可能な場合）。英語の場合、デフォルトは `en` です。TensorFlow Lite Metadata Writer API を使用して、カスタムモデルのメタデータにローカライズされたラベルを追加できます。	言語 / 地域コード	en

データの準備

入力を画像ファイルまたは numpy 配列として準備し、mediapipe.Image オブジェクトに変換します。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

インタラクティブ画像セグメンテーション用のデータの準備を示すコードサンプルについては、コードサンプルをご覧ください。

タスクを実行する

インタラクティブ画像セグメンタは、segment 関数を使用して推論をトリガーします。画像セグメンテーションの場合、入力データの前処理、セグメンテーションモデルの実行、未加工モデル出力のセグメント化されたマスクへの後処理が含まれます。

次のコード例は、タスクモデルで処理を実行する方法を示しています。

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

インタラクティブ画像セグメンテーションの推論の実行に関する詳細な例については、コードサンプルをご覧ください。

結果を処理して表示する

インタラクティブ画像セグメンテーションの出力結果は、Image データのリストです。タスクの構成時に設定した内容に応じて、カテゴリマスク、信頼マスク、またはその両方が含まれる場合があります。output_category_mask を True に設定すると、出力は単一のセグメント化されたマスクを uint8 イメージとして含むリストになります。ピクセル値は、入力画像の認識されたカテゴリインデックスで、それが対象の領域にあるオブジェクトの一部であるかどうかを示します。output_confidence_masks を True に設定すると、出力は、対象領域のオブジェクトに属するピクセルの信頼スコアを表す [0,1] の範囲内のピクセル値を含むチャネルのリストになります。

以降のセクションでは、このタスクからの出力データについて詳しく説明します。

カテゴリマスク

次の画像は、スポット領域が示されたカテゴリ値のマスクのタスク出力を可視化したものです。各ピクセルは、そのピクセルが関心のある領域にあるオブジェクトの一部かどうかを示す uint8 値です。2 番目の画像にある黒と白の円は、選択した対象領域を示しています。

元の画像とカテゴリマスクの出力。Pascal VOC 2012 データセットのソース画像。

信頼マスク

信頼度マスクの出力には、各画像入力チャネルの [0, 1] 間の浮動小数点値が含まれます。値が大きいほど、画像のピクセルが対象領域にあるオブジェクトの一部であるという信頼度が高くなります。