MediaPipe Pose Landmarker タスクでは、画像内の人体のランドマークを検出したり、 動画をご覧ください。このタスクを使用して、主な身体の位置の特定、姿勢の分析、 動きを分類できますこのタスクでは、次の条件を満たす機械学習（ML）モデルを使用します。 単一の画像または動画を使用できますこのタスクは、身体ポーズのランドマークを画像に出力します。 3 次元の世界座標で表します。
使ってみる
このタスクの使用を開始するには、 ターゲット プラットフォームです。これらのプラットフォーム固有のガイドでは、基本的な このタスクの実装方法（推奨モデル、コードサンプルを含む） 推奨される構成オプションは次のとおりです。
タスクの詳細
このセクションでは、機能、入力、出力、構成について説明します。 オプションを選択できます。
機能
- 入力画像処理 - 画像の回転、サイズ変更、正規化、色空間変換などの処理が行われます。
- スコアしきい値 - 予測スコアに基づいて結果をフィルタします。
| タスクの入力 | タスク出力 |
|---|---|
ポーズのマーカーは、次のいずれかのデータ型を入力できます。
|
ポーズのマーカーによって、次のような結果が出力されます。
|
構成オプション
このタスクには、次の構成オプションがあります。
| オプション名 | 説明 | 値の範囲 | デフォルト値 |
|---|---|---|---|
running_mode |
タスクの実行モードを設定します。3 つの
モード: IMAGE: 単一画像入力のモード。 VIDEO: 動画のデコードされたフレームのモード。 LIVE_STREAM: 入力のライブ配信のモード カメラからのデータなどです。 このモードでは、resultListener は 結果を受け取るリスナーを設定するために呼び出されます。 使用できます。 |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
地面マーカーのポーズ。 | Integer > 0 |
1 |
min_pose_detection_confidence |
姿勢検出に必要な最小信頼スコア 成功したとみなされます。 | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
ポーズの有無に関する最小信頼スコア スコアを記録しました。 | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
ポーズ トラッキングの最小信頼スコア 成功とみなされます。 | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
位置マーカーのセグメンテーション マスクが、検出された要素に対してセグメンテーション マスクを出力するかどうか ポーズを決めます。 | Boolean |
False |
result_callback |
ランドマークの結果を受け取るように結果リスナーを設定します。
Pose Landmarker がライブ ストリーム モードのときに非同期で配信されます。
実行モードが LIVE_STREAM に設定されている場合にのみ使用できます |
ResultListener |
N/A |
モデル
姿勢のランドマークは、一連のモデルを使用してポーズのランドマークを予測します。最初の モデルは画像フレーム内の人体の存在を検出し、2 つ目は 遺体のランドマークを特定します。
次のモデルは、ダウンロード可能なモデルバンドルにパッケージ化されています。
- 姿勢検出モデル: いくつかの重要なポーズで身体の存在を検出します。 使用できます。
- ポーズ ランドマーク モデル: ポーズの完全なマッピングを追加します。モデル は、33 個の 3 次元ポーズ ランドマークの推定値を出力します。
このバンドルは畳み込みニューラル ネットワークを使用します MobileNetV2 に類似しており、 オンデバイスのリアルタイムのフィットネスアプリ向けに開発されました。このバージョンの BlazePose モデルでは、 GHUM, 人間の 3D の身体のポーズの完全な 3D の体のポーズを推定するための 減らすことができます。
| モデルバンドル | 入力シェイプ | データ型 | モデルカード | バージョン |
|---|---|---|---|---|
| ポーズ ランドマーク（Lite） | 姿勢検出器: 224 x 224 x 3 ポーズ ランドマーク: 256 x 256 x 3 |
浮動小数点数 16 | 情報 | 最新 |
| ポーズ ランドマーク（完全版） | 姿勢検出器: 224 x 224 x 3 ポーズ ランドマーク: 256 x 256 x 3 |
浮動小数点数 16 | 情報 | 最新 |
| ポーズ ランドマーク機能（高） | 姿勢検出器: 224 x 224 x 3 ポーズ ランドマーク: 256 x 256 x 3 |
浮動小数点数 16 | 情報 | 最新 |
ポーズ ランドマーク モデル
ポーズ ランドマーク モデルは、33 の身体ランドマークの位置を追跡します。 身体は次の部位のおおよその位置:
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
モデルの出力には、正規化された座標（Landmarks）と世界の両方が含まれます。
各ランドマークの座標（WorldLandmarks）があります。