姿勢ランドマーク検出ガイド

MediaPipe Pose Landmarker タスクでは、画像内の人体のランドマークを検出したり、 動画をご覧ください。このタスクを使用して、主な身体の位置の特定、姿勢の分析、 動きを分類できますこのタスクでは、次の条件を満たす機械学習(ML)モデルを使用します。 単一の画像または動画を使用できますこのタスクは、身体ポーズのランドマークを画像に出力します。 3 次元の世界座標で表します。

<ph type="x-smartling-placeholder"></ph> お試しください。

使ってみる

このタスクの使用を開始するには、 ターゲット プラットフォームです。これらのプラットフォーム固有のガイドでは、基本的な このタスクの実装方法(推奨モデル、コードサンプルを含む) 推奨される構成オプションは次のとおりです。

タスクの詳細

このセクションでは、機能、入力、出力、構成について説明します。 いくつかあります。

機能

  • 入力画像処理 - 画像の回転、サイズ変更、正規化、色空間変換などの処理が行われます。
  • スコアしきい値 - 予測スコアに基づいて結果をフィルタします。
タスクの入力 タスク出力
ポーズのマーカーは、次のいずれかのデータ型を入力できます。
<ph type="x-smartling-placeholder">
    </ph>
  • 静止画像
  • デコードされた動画フレーム
  • ライブ動画フィード
ポーズのマーカーによって、次のような結果が出力されます。
<ph type="x-smartling-placeholder">
    </ph>
  • 正規化された画像座標でランドマークをポーズする
  • ワールド座標でランドマークを撮影する
  • 省略可: ポーズのセグメンテーション マスク。

構成オプション

このタスクには、次の構成オプションがあります。

オプション名 説明 値の範囲 デフォルト値
running_mode タスクの実行モードを設定します。3 つの モード:

IMAGE: 単一画像入力のモード。

VIDEO: 動画のデコードされたフレームのモード。

LIVE_STREAM: 入力のライブ配信のモード カメラからのデータなどです。 このモードでは、resultListener は 結果を受け取るリスナーを設定するために呼び出されます。 使用できます。
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses 地面マーカーのポーズ。 Integer > 0 1
min_pose_detection_confidence 姿勢検出に必要な最小信頼スコア 成功したとみなされます。 Float [0.0,1.0] 0.5
min_pose_presence_confidence ポーズの有無に関する最小信頼スコア スコアを記録しました。 Float [0.0,1.0] 0.5
min_tracking_confidence ポーズ トラッキングの最小信頼スコア 成功とみなされます。 Float [0.0,1.0] 0.5
output_segmentation_masks 位置マーカーのセグメンテーション マスクが、検出された要素に対してセグメンテーション マスクを出力するかどうか ポーズを決めます。 Boolean False
result_callback ランドマークの結果を受け取るように結果リスナーを設定します。 Pose Landmarker がライブ ストリーム モードのときに非同期で配信されます。 実行モードが LIVE_STREAM に設定されている場合にのみ使用できます ResultListener N/A

モデル

姿勢のランドマークは、一連のモデルを使用してポーズのランドマークを予測します。最初の モデルは画像フレーム内の人体の存在を検出し、2 つ目は 遺体のランドマークを特定します。

次のモデルは、ダウンロード可能なモデルバンドルにパッケージ化されています。

  • 姿勢検出モデル: いくつかの重要なポーズで身体の存在を検出します。 使用できます。
  • ポーズ ランドマーク モデル: ポーズの完全なマッピングを追加します。モデル は、33 個の 3 次元ポーズ ランドマークの推定値を出力します。

このバンドルは畳み込みニューラル ネットワークを使用します MobileNetV2 に類似しており、 デバイス上のリアルタイムのフィットネスアプリ向けに 設計されていますこのバージョンの BlazePose モデルでは、 GHUM 人間の 3D の身体のポーズの完全な 3D の体のポーズを推定するための 減らすことができます。

<ph type="x-smartling-placeholder">

モデルバンドル 入力シェイプ データ型 モデルカード バージョン
<ph type="x-smartling-placeholder"></ph> ポーズ ランドマーク(Lite) 姿勢検出器: 224 x 224 x 3
ポーズ ランドマーク: 256 x 256 x 3
浮動小数点数 16 <ph type="x-smartling-placeholder"></ph> 情報 <ph type="x-smartling-placeholder"></ph> 最新
<ph type="x-smartling-placeholder"></ph> ポーズ ランドマーク(完全版) 姿勢検出器: 224 x 224 x 3
ポーズ ランドマーク: 256 x 256 x 3
浮動小数点数 16 <ph type="x-smartling-placeholder"></ph> 情報 <ph type="x-smartling-placeholder"></ph> 最新
<ph type="x-smartling-placeholder"></ph> ポーズ ランドマーク機能(高) 姿勢検出器: 224 x 224 x 3
ポーズ ランドマーク: 256 x 256 x 3
浮動小数点数 16 <ph type="x-smartling-placeholder"></ph> 情報 <ph type="x-smartling-placeholder"></ph> 最新

ポーズ ランドマーク モデル

ポーズ ランドマーク モデルは、33 の身体ランドマークの位置を追跡します。 身体は次の部位のおおよその位置:

モデルの出力には、正規化された座標(Landmarks)と世界の両方が含まれます。 各ランドマークの座標(WorldLandmarks)があります。

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index