姿勢地標偵測指南

MediaPipe Pose Drager 任務可讓你偵測圖片中人體的人物地標 影片。您可以用這項工作找出主要的身體位置、分析情況 以及分類運動這項工作採用的機器學習 (ML) 模型 適用於單一圖片或影片這項工作會輸出圖片中的身體姿勢地標 以及 3D 世界座標。

試試看吧！

開始使用

請依照您的 目標廣告平台這些平台專屬指南將逐步說明 實作這項工作，包含建議模型和程式碼範例 下方列出建議的設定選項：

任務詳細資料

本節會說明功能、輸入、輸出內容和設定 這個工作的選項

功能

  • 輸入圖片處理：處理的內容包括圖片旋轉、調整大小、正規化和色域轉換。
  • 分數門檻：根據預測分數篩選結果。
工作輸入內容 工作輸出
Pose 地標 er 接受以下任一資料類型的輸入內容：
  • 靜態圖片
  • 已解碼的影片影格
  • 即時影像
 Pose 地標 er 會輸出下列結果：
  • 在正規化的圖片座標中設定地標
  • 調整世界座標中的地標位置
  • 選用：姿勢的區隔遮罩。

設定選項

這項工作包含下列設定選項：

選項名稱 說明 值範圍 預設值
running_mode 設定任務的執行模式。在架構中 模式：

圖片：單一圖片輸入模式。

VIDEO：影片已解碼的影格模式。

LIVE_STREAM：輸入串流模式 擷取的資訊等。 在此模式下， resultListener 設定接聽程式來接收結果 以非同步方式載入物件 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses 可偵測的姿勢數量上限 擺好姿勢的地標師。 Integer > 0 1
min_pose_detection_confidence 姿勢偵測必須達到的最低可信度分數 。 Float [0.0,1.0] 0.5
min_pose_presence_confidence 擺出姿勢的最低可信度分數 姿勢地標偵測結果的分數 Float [0.0,1.0] 0.5
min_tracking_confidence 姿勢追蹤的最低可信度分數 才算是成功 Float [0.0,1.0] 0.5
output_segmentation_masks Pose 地標 er 是否會為偵測到的警示輸出區隔遮罩 姿勢。 Boolean False
result_callback 設定結果事件監聽器以接收地標結果 以非同步方式顯示參與者 只有在執行模式設為「LIVE_STREAM」時才能使用 ResultListener N/A

模型

Pose 地標 er 使用一系列的模型來預測姿勢地標。第一個 模型會偵測圖片影格中是否有人類身體 模型可找出人體上的地標。

下列模型會封裝成可下載的模型組合：

  • 姿勢偵測模型：偵測身體是否具有一些關鍵姿勢 地標。
  • 姿勢地標模型：新增完整的姿勢對應。模型 輸出預估的 33D 立體姿勢地標。

這個套裝組合會使用卷積類神經網路 和 MobileNetV2 類似，且已經過最佳化 。這個 BlazePose 模型 GHUM、 3D 人體形狀建模管線，可用於估算生成圖像的完整 3D 身體姿勢 或圖片中的人物

模型套裝組合 輸入形狀 資料類型 模型資訊卡 版本
調整位置指標 (精簡) 姿勢偵測器：224 x 224 x 3
姿勢地標：256 x 256 x 3 		浮點值 16 資訊 最新
姿勢地標 (完整) 姿勢偵測器：224 x 224 x 3
姿勢地標：256 x 256 x 3 		浮點值 16 資訊 最新
姿勢地標 (重) 姿勢偵測器：224 x 224 x 3
姿勢地標：256 x 256 x 3 		浮點值 16 資訊 最新

姿勢地標模型

姿勢地標模型追蹤了 33 個人體地標位置，代表 下列人體部位的大概位置：

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index

模型輸出內容包含正規化座標 (Landmarks) 和世界 每個地標的座標 (WorldLandmarks)。