MediaPipe Pose Landmarker タスクでは、画像内の人体のランドマークを検出したり、 動画をご覧ください。このタスクを使用して、主な身体の位置の特定、姿勢の分析、 動きを分類できますこのタスクでは、次の条件を満たす機械学習(ML)モデルを使用します。 単一の画像または動画を使用できますこのタスクは、身体ポーズのランドマークを画像に出力します。 3 次元の世界座標で表します。
<ph type="x-smartling-placeholder"></ph> お試しください。
使ってみる
このタスクの使用を開始するには、 ターゲット プラットフォームです。これらのプラットフォーム固有のガイドでは、基本的な このタスクの実装方法(推奨モデル、コードサンプルを含む) 推奨される構成オプションは次のとおりです。
タスクの詳細
このセクションでは、機能、入力、出力、構成について説明します。 いくつかあります。
機能
- 入力画像処理 - 画像の回転、サイズ変更、正規化、色空間変換などの処理が行われます。
- スコアしきい値 - 予測スコアに基づいて結果をフィルタします。
タスクの入力 | タスク出力 |
---|---|
ポーズのマーカーは、次のいずれかのデータ型を入力できます。 <ph type="x-smartling-placeholder">
|
ポーズのマーカーによって、次のような結果が出力されます。 <ph type="x-smartling-placeholder">
|
構成オプション
このタスクには、次の構成オプションがあります。
オプション名 | 説明 | 値の範囲 | デフォルト値 |
---|---|---|---|
running_mode |
タスクの実行モードを設定します。3 つの
モード: IMAGE: 単一画像入力のモード。 VIDEO: 動画のデコードされたフレームのモード。 LIVE_STREAM: 入力のライブ配信のモード カメラからのデータなどです。 このモードでは、resultListener は 結果を受け取るリスナーを設定するために呼び出されます。 使用できます。 |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
num_poses |
地面マーカーのポーズ。 | Integer > 0 |
1 |
min_pose_detection_confidence |
姿勢検出に必要な最小信頼スコア 成功したとみなされます。 | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
ポーズの有無に関する最小信頼スコア スコアを記録しました。 | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
ポーズ トラッキングの最小信頼スコア 成功とみなされます。 | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
位置マーカーのセグメンテーション マスクが、検出された要素に対してセグメンテーション マスクを出力するかどうか ポーズを決めます。 | Boolean |
False |
result_callback |
ランドマークの結果を受け取るように結果リスナーを設定します。
Pose Landmarker がライブ ストリーム モードのときに非同期で配信されます。
実行モードが LIVE_STREAM に設定されている場合にのみ使用できます |
ResultListener |
N/A |
モデル
姿勢のランドマークは、一連のモデルを使用してポーズのランドマークを予測します。最初の モデルは画像フレーム内の人体の存在を検出し、2 つ目は 遺体のランドマークを特定します。
次のモデルは、ダウンロード可能なモデルバンドルにパッケージ化されています。
- 姿勢検出モデル: いくつかの重要なポーズで身体の存在を検出します。 使用できます。
- ポーズ ランドマーク モデル: ポーズの完全なマッピングを追加します。モデル は、33 個の 3 次元ポーズ ランドマークの推定値を出力します。
このバンドルは畳み込みニューラル ネットワークを使用します MobileNetV2 に類似しており、 デバイス上のリアルタイムのフィットネスアプリ向けに 設計されていますこのバージョンの BlazePose モデルでは、 GHUM 人間の 3D の身体のポーズの完全な 3D の体のポーズを推定するための 減らすことができます。
<ph type="x-smartling-placeholder">モデルバンドル | 入力シェイプ | データ型 | モデルカード | バージョン |
---|---|---|---|---|
<ph type="x-smartling-placeholder"></ph> ポーズ ランドマーク(Lite) | 姿勢検出器: 224 x 224 x 3 ポーズ ランドマーク: 256 x 256 x 3 |
浮動小数点数 16 | <ph type="x-smartling-placeholder"></ph> 情報 | <ph type="x-smartling-placeholder"></ph> 最新 |
<ph type="x-smartling-placeholder"></ph> ポーズ ランドマーク(完全版) | 姿勢検出器: 224 x 224 x 3 ポーズ ランドマーク: 256 x 256 x 3 |
浮動小数点数 16 | <ph type="x-smartling-placeholder"></ph> 情報 | <ph type="x-smartling-placeholder"></ph> 最新 |
<ph type="x-smartling-placeholder"></ph> ポーズ ランドマーク機能(高) | 姿勢検出器: 224 x 224 x 3 ポーズ ランドマーク: 256 x 256 x 3 |
浮動小数点数 16 | <ph type="x-smartling-placeholder"></ph> 情報 | <ph type="x-smartling-placeholder"></ph> 最新 |
ポーズ ランドマーク モデル
ポーズ ランドマーク モデルは、33 の身体ランドマークの位置を追跡します。 身体は次の部位のおおよその位置:
モデルの出力には、正規化された座標(Landmarks
)と世界の両方が含まれます。
各ランドマークの座標(WorldLandmarks
)があります。