画像セグメンテーション ガイド

MediaPipe Image Segmenter タスクを使用すると、事前定義されたカテゴリに基づいて画像を領域に分割できます。この機能を使用すると、特定のオブジェクトやテクスチャを特定し、背景のぼかしなどの視覚効果を適用できます。このタスクには、画像データ内の人物とその特徴をセグメント化するために特別にトレーニングされた複数のモデルが含まれます。たとえば、次のようなモデルがあります。

• 人物と背景
• 人物の髪のみ
• 人物の髪、顔、肌、衣服、アクセサリー

このタスクは、単一の画像または連続した動画ストリームを含む機械学習（ML）モデルを使用して画像データを処理します。選択したモデルに応じて、画像内のオブジェクトまたは領域を表すセグメント化された領域のリストを出力します。

試してみるarrow_forward

使ってみる

このタスクを使用するには、対象プラットフォーム向けの次のいずれかの実装ガイドに沿って操作します。以下のプラットフォーム固有のガイドでは、推奨モデルや、推奨構成オプションを含むコード例など、このタスクの基本的な実装について説明します。

• Android - コード例 - ガイド
• Python - コード例 ガイド
• ウェブ - コード例 - ガイド

タスクの詳細

このセクションでは、このタスクの機能、入力、出力、構成オプションについて説明します。

機能

• 入力画像の処理 - 処理には、画像の回転、サイズ変更、正規化、色空間変換が含まれます。

構成オプション

このタスクには、次の構成オプションがあります。

モデル

Image Segmenter は複数の ML モデルで使用できます。次のセグメンテーション モデルのほとんどは、人物の画像でセグメンテーションを行うように構築およびトレーニングされています。ただし、DeepLab-v3 モデルは汎用画像セグメンタとして構築されています。アプリケーションに最適なモデルを選択します。

自撮りセグメンテーション モデル

このモデルは人物のポートレートをセグメント化でき、画像の背景の置き換えや変更に使用できます。モデルは、インデックス 0 の背景とインデックス 1 の人物という 2 つのカテゴリを出力します。このモデルには、スクエア バージョンや横向きバージョンなど、入力シェイプが異なるバージョンがあります。ビデオ通話など、入力が常にその形状であるアプリケーションでは、より効率的です。

髪のセグメンテーション モデル

このモデルは、人物の画像を取り込み、頭の髪の毛を見つけて、髪の毛の画像セグメンテーション マップを出力します。このモデルは、髪の色を変更したり、他のヘアエフェクトを適用したりするために使用できます。モデルは、次のセグメンテーション カテゴリを出力します。

0 - background
1 - hair

マルチクラス自撮りセグメンテーション モデル

このモデルは、人物の画像を取り込み、髪、肌、衣服などのさまざまな領域を特定し、これらのアイテムの画像セグメンテーション マップを出力します。このモデルを使用すると、画像や動画内の人物にさまざまな効果を適用できます。モデルは、次のセグメンテーション カテゴリを出力します。

0 - background
1 - hair
2 - body-skin
3 - face-skin
4 - clothes
5 - others (accessories)

DeepLab-v3 モデル

このモデルは、背景、人物、猫、犬、鉢植えなど、さまざまなカテゴリのセグメントを識別します。このモデルでは、アトラス空間ピラミッド プーリングを使用して、より長い範囲の情報をキャプチャします。詳細については、DeepLab-v3 をご覧ください。

タスクのベンチマーク

上記の事前トレーニング済みモデルに基づくパイプライン全体のタスク ベンチマークは次のとおりです。レイテンシの結果は、CPU / GPU を使用した Google Pixel 6 の平均レイテンシです。