Python 的姿勢地標偵測指南

MediaPipe Pose 地標工作可讓您偵測圖片或影片中的人體地標。您可以使用這項工作來識別關鍵主體位置、分析姿勢，以及將運動分類。這項工作採用的機器學習 (ML) 模型 適用於單一圖片或影片工作會輸出圖片座標和 3D 世界座標中的身體姿勢地標。

您可以前往 GitHub 取得這些操作說明中提及的程式碼範例。如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

Posemarker 的範例程式碼提供這項工作在 Python 中的完整實作，供您參考。這個程式碼可協助您測試這項工作，並開始建構自己的姿勢地標。只要使用網路瀏覽器，就可以查看、執行及編輯Pose Marker 範例程式碼。

如果您要實作 Raspberry Pi 的 Pose Ranker，請參閱 Raspberry Pi 範例應用程式。

設定

本節說明設定開發環境及專門為使用 Posemarker 的程式碼專案的重要步驟。如需瞭解如何使用 MediaPipe 工作設定開發環境的一般資訊，包括平台版本需求，請參閱 Python 設定指南。

套裝組合

MediaPipe Posemarker 工作需要 mediapipe PyPI 套件。 您可以使用下列程式碼安裝並匯入這些依附元件：

$ python -m pip install mediapipe

匯入

匯入下列類別，即可使用 Posemarker 工作功能：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型號

MediaPipe Posemarker 工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解 Pose Marker 可用的已訓練模型，請參閱工作總覽「模型」一節。

選取並下載模型，然後儲存至本機目錄：

model_path = '/absolute/path/to/pose_landmarker.task'

使用 BaseOptions 物件 model_asset_path 參數指定要使用的模型路徑。如需程式碼範例，請參閱下一節。

建立工作

MediaPipe Posemarker 工作會使用 create_from_options 函式設定工作。create_from_options 函式可接受設定選項值來處理。詳情請參閱「設定選項」。

下列程式碼示範如何建構及設定這項工作。

這些範例也會顯示圖片、影片檔案和直播工作建構的變化。

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.IMAGE)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the video mode:
options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.VIDEO)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
PoseLandmarkerResult = mp.tasks.vision.PoseLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the live stream mode:
def print_result(result: PoseLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('pose landmarker result: {}'.format(result))

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

如需建立與圖片搭配使用的完整範例，請參閱程式碼範例。

設定選項

這項工作的 Python 應用程式設定選項如下：

準備資料

將輸入準備為圖片檔或 numpy 陣列，然後再將其轉換為 mediapipe.Image 物件。如果輸入的內容是影片檔案，或是透過網路攝影機直播，可以使用外部程式庫 (例如 OpenCV) 將輸入影格載入為 numpy 陣列。

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

執行工作

「Pose Ranker」會使用 detect、detect_for_video 和 detect_async 函式來觸發推論。建立位置標記時，這包括預先處理輸入資料，以及偵測圖片中的姿勢。

下列程式碼示範如何使用工作模型執行處理作業。

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the image mode.
pose_landmarker_result = landmarker.detect(mp_image)
    

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the video mode.
pose_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform pose landmarking.
# The results are accessible via the `result_callback` provided in
# the `PoseLandmarkerOptions` object.
# The pose landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

注意事項：

• 以影片模式或直播模式執行時，請一併提供 Posemarker 任務的輸入影格的時間戳記。
• 在圖片或影片模型中執行時，「Posemarker」工作會封鎖目前的執行緒，直到完成輸入圖片或影格的處理為止。
• 以直播模式執行時，「Pose 地標」工作會立即回傳，且不會封鎖目前的執行緒。每當它處理完輸入影格時，就會透過偵測結果叫用結果監聽器。如果 Pose 地標工作正忙於處理另一個影格時呼叫偵測功能，則任務會忽略新的輸入影格。

如需在圖片上執行姿勢地標的完整範例，請參閱程式碼範例。

處理並顯示結果

Pose 地標 er 會在每次執行偵測時傳回 poseLandmarkerResult 物件。結果物件含有每個姿勢地標的座標。

以下為這項工作的輸出資料範例：

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

輸出結果同時包含每個地標的正規化座標 (Landmarks) 和世界座標 (WorldLandmarks)。

輸出結果包含以下正規化座標 (Landmarks)：

• x 和 y：地標座標介於 0.0 到 1.0 之間，依照圖片寬度 (x) 和高度 (y) 進行正規化。

• z：地標深度，以臀部中間點為起點。值越小，地標與相機鏡頭越近。Z 規模使用的縮放比例與 x 大致相同。

• visibility：地標在圖片中可見的可能性。

輸出結果包含以下世界座標 (WorldLandmarks)：

• x、y 和 z：實際 3 維座標 (以公尺為單位)，以臀部中間點做為起點。

• visibility：地標在圖片中可見的可能性。

下圖以視覺化方式呈現工作輸出內容：

選用的區隔遮罩代表每個像素屬於偵測到人員的可能性。下圖是工作輸出的區隔遮罩：

Posemarker 範例程式碼會示範如何顯示工作傳回的結果，詳情請參閱程式碼範例。