Hướng dẫn phát hiện điểm mốc cho Android

Nhiệm vụ MediaPipe Pose Tager cho phép bạn phát hiện các địa danh của cơ thể người trong một hình ảnh hoặc video. Bạn có thể sử dụng nhiệm vụ này để xác định vị trí chính của cơ thể, phân tích tư thế, và phân loại các chuyển động. Nhiệm vụ này sử dụng các mô hình học máy (ML) bạn có thể làm việc với các hình ảnh hoặc video đơn lẻ. Tác vụ sẽ xuất ra các điểm mốc tạo dáng cơ thể trong hình ảnh và toạ độ trong các toạ độ thế giới 3 chiều.

Mã mẫu được mô tả trong các hướng dẫn này có trên GitHub. Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ MediaPipe Tasks là một cách triển khai đơn giản cho tính năng Điểm mốc Pose dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để phát hiện tư thế trong luồng video liên tục. Ứng dụng này cũng có thể phát hiện các tư thế ở hình ảnh và video từ thư viện trên thiết bị.

Bạn có thể sử dụng ứng dụng này làm điểm khởi đầu cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng đó khi sửa đổi ứng dụng hiện có. Mã ví dụ về Điểm mốc tư thế đứng được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn có chỉ các tệp cho ứng dụng mẫu của Pose Marker:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/pose_landmarker/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho ví dụ về cách tạo điểm mốc này ứng dụng:

• PoseLandmarkerHelper.kt – Khởi động trình tạo điểm mốc tư thế, đồng thời xử lý mô hình và uỷ quyền lựa chọn.
• CameraFragment.kt – Xử lý máy ảnh của thiết bị, đồng thời xử lý dữ liệu đầu vào hình ảnh và video.
• GalleryFragment.kt – Tương tác với OverlayView để hiển thị video hoặc hình ảnh đầu ra.
• OverlayView.kt – Triển khai màn hình cho các tư thế đã phát hiện.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình các dự án cụ thể để sử dụng Pose GMTer. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Tác vụ Tạo điểm mốc tư thế sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ Tạo điểm mốc MediaPipe Pose cần có một gói mô hình đã huấn luyện tương thích với nhiệm vụ này. Để biết thêm thông tin về các mô hình đã được huấn luyện hiện có cho tính năng Điểm mốc tư thế, hãy xem phần Mô hình để xem tổng quan về nhiệm vụ.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định trong PoseLandmarkerHelper.kt tệp:

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

Tạo việc cần làm

Tác vụ Trình phân cách vị trí MediaPipe sử dụng hàm createFromOptions() để thiết lập công việc. Hàm createFromOptions() chấp nhận các giá trị cho cấu hình . Để biết thêm thông tin về các chế độ cấu hình, hãy xem phần Cấu hình .

Trình tạo điểm mốc tư thế hỗ trợ các loại dữ liệu đầu vào sau: hình ảnh tĩnh, video tệp và luồng video trực tiếp. Bạn cần chỉ định chế độ đang chạy tương ứng với loại dữ liệu đầu vào của bạn khi tạo công việc. Chọn thẻ cho loại dữ liệu đầu vào của bạn để xem cách tạo công việc.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

Việc triển khai mã ví dụ về Điểm mốc Pose cho phép người dùng chuyển đổi giữa chế độ xử lý. Phương pháp này làm cho mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong Hàm setupPoseLandmarker() trong PoseLandmarkerHelper.kt .

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Công cụ Tạo điểm ảnh tư thế hoạt động với hình ảnh, tệp video và luồng video trực tiếp. Việc cần làm xử lý tiền xử lý đầu vào dữ liệu, bao gồm đổi kích thước, xoay và giá trị chuẩn hoá dữ liệu.

Mã sau đây minh hoạ cách chuyển giao dữ liệu để xử lý. Các mẫu bao gồm thông tin chi tiết về cách xử lý dữ liệu từ hình ảnh, tệp video và lượt phát video trực tuyến.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Trong mã ví dụ về Trình phân tích tư thế, việc chuẩn bị dữ liệu được xử lý trong PoseLandmarkerHelper.kt .

Chạy tác vụ

Tùy thuộc vào loại dữ liệu bạn đang xử lý, hãy sử dụng poseLandmarker.detect...() dành riêng cho loại dữ liệu đó. Sử dụng detect() cho từng hình ảnh, detectForVideo() cho khung hình trong tệp video, và detectAsync() đối với luồng video. Khi bạn phát hiện một luồng video, hãy đảm bảo bạn chạy các phát hiện trên một chuỗi riêng để tránh chặn luồng người dùng xen kẽ.

Các mã mẫu sau đây minh hoạ các ví dụ đơn giản về cách chạy tính năng Điểm mốc tư thế ở các chế độ dữ liệu sau:

val result = poseLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn phải cung cấp dấu thời gian của khung nhập vào tác vụ Tạo điểm mốc tư thế.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Tạo điểm mốc tư thế sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào. Người nhận tránh chặn người dùng xen kẽ, hãy thực hiện quá trình xử lý trong nền chuỗi.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Tạo điểm mốc tư thế sẽ trả về ngay lập tức và không chặn luồng hiện tại. Phương thức này sẽ gọi ra kết quả với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào.

Trong mã ví dụ về Trình phân cách tư thế, detect, detectForVideo và Hàm detectAsync được định nghĩa trong PoseLandmarkerHelper.kt .

Xử lý và hiện kết quả

Trình xác định tư thế trả về một đối tượng poseLandmarkerResult cho mỗi lần phát hiện chạy. Đối tượng kết quả chứa toạ độ cho từng mốc đặt tư thế.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

Kết quả đầu ra chứa cả toạ độ chuẩn hoá (Landmarks) và thế giới toạ độ (WorldLandmarks) cho từng mốc.

Kết quả đầu ra chứa các toạ độ được chuẩn hoá sau (Landmarks):

• x và y: Toạ độ điểm mốc được chuẩn hoá trong khoảng từ 0,0 đến 1,0 theo chiều rộng và chiều cao của hình ảnh (x) (y).

• z: Độ sâu của mốc, trong đó độ sâu ở điểm giữa hông là máy chủ gốc. Giá trị càng nhỏ thì điểm mốc càng gần camera. Chiến lược phát hành đĩa đơn độ lớn của z có cùng tỷ lệ với x.

• visibility: Khả năng điểm mốc hiển thị trong hình ảnh.

Kết quả đầu ra chứa các toạ độ thế giới sau (WorldLandmarks):

• x, y và z: Toạ độ 3 chiều thế giới thực tính bằng mét, với là điểm giữa của hông.

• visibility: Khả năng điểm mốc hiển thị trong hình ảnh.

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mặt nạ phân đoạn tuỳ chọn thể hiện khả năng thuộc về từng pixel cho một người bị phát hiện. Hình ảnh sau đây là mặt nạ phân đoạn của kết quả tác vụ:

Mã ví dụ về Pose Segmenter cho thấy cách hiển thị kết quả được trả về từ công việc, hãy xem OverlayView để biết thêm chi tiết.