Android 的姿勢地標偵測指南

MediaPipe Pose Drager 任務可讓你偵測圖片中人體的人物地標 影片。您可以用這項工作找出主要的身體位置、分析情況 以及分類運動這項工作採用的機器學習 (ML) 模型 適用於單一圖片或影片這項工作會輸出圖片中的身體姿勢地標 以及 3D 世界座標。

如需上述指示中所述的程式碼範例，請前往 GitHub。 進一步瞭解功能、模型和設定選項 請參閱總覽。

程式碼範例

MediaPipe Tasks 範例程式碼是 Pose 地標的簡易實作方式 App Engine 應用程式這個範例會使用實體 Android 裝置上的相機執行以下動作： 偵測連續影片串流中的姿勢這個應用程式也可以偵測 下載這些內容

您可以將應用程式做為起點，當做 Android 應用程式的起點，也可以參照應用程式 做出決定Pose Lander 範例程式碼 GitHub。

下載程式碼

以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。

如要下載範例程式碼，請按照下列步驟操作：

  1. 使用下列指令複製 git 存放區： 
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. 您也可以設定 Git 執行個體來使用稀疏結帳功能， 只有 Pose 地標 er 範例應用程式的檔案： 
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/pose_landmarker/android

建立範例程式碼的本機版本後，您可以匯入專案 然後執行應用程式如需操作說明，請參閱 Android：

重要元件

以下檔案包含這個姿勢地標範例的關鍵程式碼 應用程式：

設定

本節說明設定開發環境的重要步驟，以及 專用的程式碼專案如需 設定開發環境以使用 MediaPipe 工作，包括： 平台版本需求，請參閱這份指南 Android：

依附元件

Pose Marker 工作使用 com.google.mediapipe:tasks-vision 程式庫。新增 以下依附元件到 Android 應用程式的 build.gradle 檔案：

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Pose Landmarker 需要經過訓練且與 執行這項工作如要進一步瞭解 Pose 地標 er 可用的已訓練模型， 請參閱工作總覽的「模型」一節。

選取並下載模型，然後儲存在專案目錄中：

<dev-project-root>/src/main/assets

在 ModelAssetPath 參數中指定模型的路徑。在 範例程式碼當中定義了模型 PoseLandmarkerHelper.kt敬上 檔案：

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

建立工作

MediaPipe Pose Landmarker 工作會使用 createFromOptions() 函式來設定 工作。createFromOptions() 函式可接受設定值 只要設定成「自動重新啟動」 和「在主機維護期間」選項即可如要進一步瞭解設定選項，請參閱設定 選項。

Pose Marker 支援下列輸入資料類型：靜態圖片、影片 檔案和直播影片您必須指定執行模式 對應至輸入資料類型的個別項目選擇分頁 看看如何建立工作

圖片

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)

影片

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)

直播

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)

實作 Pose Lander 程式碼範例可讓使用者在兩個平台之間切換 處理模式這種方法使得工作建立程式碼變得更加複雜， 可能會不適合您的用途您可以在 setupPoseLandmarker() 函式，用於 PoseLandmarkerHelper.kt 檔案。

設定選項

這項工作有下列 Android 應用程式設定選項：

選項名稱 說明 值範圍 預設值
runningMode 設定任務的執行模式。在架構中 模式：

圖片：單一圖片輸入模式。

VIDEO：影片已解碼的影格模式。

LIVE_STREAM：輸入串流模式 擷取的資訊等。 在此模式下， resultListener 設定接聽程式來接收結果 以非同步方式載入物件 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
numposes 可偵測的姿勢數量上限 擺好姿勢的地標師。 Integer > 0 1
minPoseDetectionConfidence 姿勢偵測必須達到的最低可信度分數 。 Float [0.0,1.0] 0.5
minPosePresenceConfidence 擺出姿勢的最低可信度分數 姿勢地標偵測結果的分數 Float [0.0,1.0] 0.5
minTrackingConfidence 姿勢追蹤的最低可信度分數 才算是成功 Float [0.0,1.0] 0.5
outputSegmentationMasks Pose 地標 er 是否會為偵測到的警示輸出區隔遮罩 姿勢。 Boolean False
resultListener 設定結果事件監聽器以接收地標結果 以非同步方式顯示參與者 只有在執行模式設為「LIVE_STREAM」時才能使用 ResultListener N/A
errorListener 設定選用的錯誤事件監聽器。 ErrorListener N/A

準備資料

Pose Marker 使用圖片、影片檔案和即時影像串流功能，工作內容 處理資料輸入預先處理作業，包括調整大小、旋轉和值 以便處理正規化的情況

以下程式碼示範如何發送資料進行處理。這些 樣本包括如何處理圖片、影片檔案、 和串流影片。

圖片

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()

影片

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()

直播

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()

在 Pose Marker 範例程式碼中，會在 PoseLandmarkerHelper.kt敬上 檔案。

執行工作

請根據您處理的資料類型使用 該資料類型專屬的 poseLandmarker.detect...() 方法。使用 detect() 適用於個別圖片，detectForVideo() 適用於影片檔案中的影格； 和 detectAsync() 用於影片串流。當您對某個網路類型執行偵測時 影片串流，請務必在另外的執行緒執行偵測，以免 並封鎖使用者交錯執行緒

以下程式碼範例顯示如何執行 Pose Landmarker 的簡單範例 分別是

圖片

val result = poseLandmarker.detect(mpImage)

影片

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }

直播

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)

注意事項：

  • 以影片模式或直播模式執行時，您必須提供 輸入框的時間戳記。
  • 以圖片或影片模式跑步時，Pose 地標工作會阻斷 目前的執行緒，直到完成輸入圖片或影格處理完成為止。目的地： 避免妨礙使用者交涉，請在背景執行處理作業 。
  • 以直播模式跑步時，Pose Lander 工作回來 而且不會封鎖目前的執行緒。就會叫用結果 每次處理完 輸入影格

在 Pose Lander 範例程式碼中，detect、detectForVideo 和 detectAsync 函式定義於 PoseLandmarkerHelper.kt。 檔案。

處理及顯示結果

Pose 地標 er 會為每項偵測傳回 poseLandmarkerResult 物件 此程序的第一步 是將程式碼簽入執行所有單元測試的存放區中結果物件包含每個姿勢地標的座標。

以下範例顯示這項工作的輸出資料範例：

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

輸出結果包含正規化座標 (Landmarks) 和世界 每個地標的座標 (WorldLandmarks)。

輸出結果包含下列正規化座標 (Landmarks)：

  • x 和 y：地標座標，由 0.0 和 1.0 正規化 圖片寬度 (x) 和高度 (y)。

  • z：地標深度，月經中點的深度為 來源。值越小，地標越接近相機位置。 z 的規模與 x 幾乎相同。

  • visibility：地標在圖片中可見的可能性。

輸出結果包含下列世界座標 (WorldLandmarks)：

  • x、y 和 z：實際 3D 座標 (以公尺為單位)， 這兩個字的起源

  • visibility：地標在圖片中可見的可能性。

下圖是工作輸出內容的視覺化呈現：

選用的區隔遮罩代表每個像素歸屬的可能性 並提供給偵測到的人下圖是 工作輸出：

Pose Lander 範例程式碼示範如何顯示傳回的結果 請參閱 OverlayView敬上 類別，取得更多詳細資訊。