Hướng dẫn phát hiện điểm mốc cho Android

Nhiệm vụ MediaPipe Pose vừa giới thiệu cho phép bạn phát hiện các điểm mốc của cơ thể người trong hình ảnh hoặc video. Bạn có thể dùng nhiệm vụ này để xác định các vị trí quan trọng của cơ thể, phân tích tư thế và phân loại chuyển động. Nhiệm vụ này sử dụng các mô hình học máy (ML) hoạt động với các hình ảnh hoặc video đơn lẻ. Nhiệm vụ này sẽ đưa ra các mốc tạo dáng cơ thể theo toạ độ hình ảnh và toạ độ thế giới 3 chiều.

Mã mẫu được mô tả trong những hướng dẫn này hiện có trên GitHub. Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ về MediaPipe Tasks là một cách triển khai đơn giản của ứng dụng Pose Emojier dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để phát hiện các tư thế trong luồng video liên tục. Ứng dụng cũng có thể phát hiện các tư thế trong hình ảnh và video từ thư viện thiết bị.

Bạn có thể dùng ứng dụng này làm điểm xuất phát cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng này khi sửa đổi một ứng dụng hiện có. Mã ví dụ về Pose Towerer được lưu trữ trên GitHub.

Tải mã xuống

Hướng dẫn sau đây chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể tuỳ ý định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn chỉ có các tệp cho ứng dụng mẫu Pose Towerer:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/pose_landmarker/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để được hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng dành cho ứng dụng mẫu tạo điểm mốc cho tư thế này:

• PoseLandmarkerHelper.kt – Khởi chạy điểm mốc tư thế, đồng thời xử lý lựa chọn mô hình và uỷ quyền.
• CameraFragment.kt – Xử lý máy ảnh của thiết bị, đồng thời xử lý dữ liệu đầu vào hình ảnh và video.
• GalleryFragment.kt – Tương tác với OverlayView để hiển thị video hoặc hình ảnh đầu ra.
• OverlayView.kt – Triển khai màn hình cho các tư thế được phát hiện.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình cho các dự án cụ thể để sử dụng Pose Viewser. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ MediaPipe, bao gồm cả yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.

Phần phụ thuộc

Nhiệm vụ Đặt điểm mốc sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ MediaPipe PoseSử dụng gói mô hình đã qua huấn luyện cần có gói mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Pose Emojier, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ trong thư mục dự án của bạn:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định trong tệp PoseLandmarkerHelper.kt:

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

Tạo việc cần làm

Tác vụ MediaPipe Pose Viewser sử dụng hàm createFromOptions() để thiết lập tác vụ đó. Hàm createFromOptions() chấp nhận các giá trị cho các tuỳ chọn cấu hình. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Lựa chọn cấu hình.

Pose Towerer hỗ trợ các loại dữ liệu đầu vào sau đây: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn cần chỉ định chế độ chạy tương ứng với loại dữ liệu đầu vào khi tạo tác vụ. Chọn thẻ cho loại dữ liệu đầu vào của bạn để xem cách tạo công việc.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)
    

Việc triển khai mã ví dụ về Pose Towerer cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong hàm setupPoseLandmarker() ở tệp PoseLandmarkerHelper.kt.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Pose Viewser hoạt động với hình ảnh, tệp video và luồng video trực tiếp. Tác vụ này sẽ xử lý trước bước xử lý dữ liệu đầu vào, bao gồm cả việc đổi kích thước, xoay và chuẩn hoá giá trị.

Mã sau đây minh hoạ cách chuyển giao dữ liệu cho việc xử lý. Các mẫu này bao gồm thông tin chi tiết về cách xử lý dữ liệu từ hình ảnh, tệp video và luồng video trực tiếp.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Trong mã ví dụ về Pose Viewser, việc chuẩn bị dữ liệu được xử lý trong tệp PoseLandmarkerHelper.kt.

Chạy tác vụ

Tuỳ thuộc vào loại dữ liệu bạn đang xử lý, hãy sử dụng phương thức poseLandmarker.detect...() dành riêng cho loại dữ liệu đó. Sử dụng detect() cho từng hình ảnh, detectForVideo() cho khung hình trong tệp video và detectAsync() cho luồng video. Khi bạn đang thực hiện phát hiện trên một luồng video, hãy đảm bảo bạn chạy các quy trình phát hiện trên một luồng riêng để tránh chặn luồng xen kẽ của người dùng.

Các mã mẫu sau đây cho thấy các ví dụ đơn giản về cách chạy Pose Emojier ở các chế độ dữ liệu sau:

val result = poseLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn phải cung cấp dấu thời gian của khung nhập dữ liệu cho tác vụ Pose Viewser.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Pose Emojier sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào. Để tránh tình trạng người dùng xen kẽ, hãy thực thi quá trình xử lý trong luồng ở chế độ nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Pose Emojier sẽ trả về ngay lập tức và không chặn luồng hiện tại. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào.

Trong mã ví dụ về Pose Towerer, các hàm detect, detectForVideo và detectAsync được xác định trong tệp PoseLandmarkerHelper.kt.

Xử lý và hiển thị kết quả

Pose Viewser sẽ trả về một đối tượng poseLandmarkerResult trong mỗi lần chạy phát hiện. Đối tượng kết quả chứa toạ độ cho mỗi mốc tư thế.

Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

Kết quả đầu ra chứa cả toạ độ chuẩn hoá (Landmarks) và toạ độ thế giới (WorldLandmarks) cho từng điểm mốc.

Kết quả đầu ra chứa các toạ độ được chuẩn hoá sau (Landmarks):

• x và y: Các toạ độ của địa danh được chuẩn hoá trong khoảng từ 0 đến 1 theo chiều rộng hình ảnh (x) và chiều cao (y).

• z: Độ sâu mốc, với độ sâu là điểm giữa của hông là điểm gốc. Giá trị càng nhỏ thì điểm mốc càng gần camera. Độ lớn của z sử dụng tỷ lệ gần bằng với x.

• visibility: Khả năng điểm mốc sẽ xuất hiện trong hình ảnh.

Kết quả sẽ chứa các toạ độ trên thế giới sau đây (WorldLandmarks):

• x, y và z: Toạ độ 3 chiều thực tế tính bằng mét, với điểm giữa của hông là gốc.

• visibility: Khả năng điểm mốc sẽ xuất hiện trong hình ảnh.

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mặt nạ phân đoạn không bắt buộc biểu thị khả năng mỗi pixel thuộc về một người được phát hiện. Hình ảnh sau đây là mặt nạ phân đoạn của đầu ra tác vụ:

Mã ví dụ về Pose Viewser minh hoạ cách hiển thị kết quả trả về từ tác vụ. Vui lòng xem lớp OverlayView để biết thêm thông tin chi tiết.