Nhiệm vụ MediaPipe Pose vừa giới thiệu cho phép bạn phát hiện các điểm mốc của cơ thể người trong hình ảnh hoặc video. Bạn có thể dùng nhiệm vụ này để xác định các vị trí quan trọng của cơ thể, phân tích tư thế và phân loại chuyển động. Nhiệm vụ này sử dụng các mô hình học máy (ML) hoạt động với các hình ảnh hoặc video đơn lẻ. Nhiệm vụ này sẽ đưa ra các mốc tạo dáng cơ thể theo toạ độ hình ảnh và toạ độ thế giới 3 chiều.
Mã mẫu được mô tả trong những hướng dẫn này hiện có trên GitHub. Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.
Ví dụ về mã
Mã ví dụ về MediaPipe Tasks là một cách triển khai đơn giản của ứng dụng Pose Emojier dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để phát hiện các tư thế trong luồng video liên tục. Ứng dụng cũng có thể phát hiện các tư thế trong hình ảnh và video từ thư viện thiết bị.
Bạn có thể dùng ứng dụng này làm điểm xuất phát cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng này khi sửa đổi một ứng dụng hiện có. Mã ví dụ về Pose Towerer được lưu trữ trên GitHub.
Tải mã xuống
Hướng dẫn sau đây chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.
Cách tải mã ví dụ xuống:
- Sao chép kho lưu trữ git bằng lệnh sau:
git clone https://github.com/google-ai-edge/mediapipe-samples
- Bạn có thể tuỳ ý định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn chỉ có các tệp cho ứng dụng mẫu Pose Towerer:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/pose_landmarker/android
Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để được hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.
Thành phần chính
Các tệp sau đây chứa mã quan trọng dành cho ứng dụng mẫu tạo điểm mốc cho tư thế này:
- PoseLandmarkerHelper.kt – Khởi chạy điểm mốc tư thế, đồng thời xử lý lựa chọn mô hình và uỷ quyền.
- CameraFragment.kt – Xử lý máy ảnh của thiết bị, đồng thời xử lý dữ liệu đầu vào hình ảnh và video.
- GalleryFragment.kt – Tương tác với
OverlayView
để hiển thị video hoặc hình ảnh đầu ra. - OverlayView.kt – Triển khai màn hình cho các tư thế được phát hiện.
Thiết lập
Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình cho các dự án cụ thể để sử dụng Pose Viewser. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ MediaPipe, bao gồm cả yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.
Phần phụ thuộc
Nhiệm vụ Đặt điểm mốc sử dụng thư viện com.google.mediapipe:tasks-vision
. Thêm phần phụ thuộc này vào tệp build.gradle
của ứng dụng Android:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Mẫu
Tác vụ MediaPipe PoseSử dụng gói mô hình đã qua huấn luyện cần có gói mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Pose Emojier, hãy xem phần Mô hình tổng quan về tác vụ.
Chọn và tải mô hình xuống rồi lưu trữ trong thư mục dự án của bạn:
<dev-project-root>/src/main/assets
Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath
. Trong mã ví dụ, mô hình được xác định trong tệp PoseLandmarkerHelper.kt
:
val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)
Tạo việc cần làm
Tác vụ MediaPipe Pose Viewser sử dụng hàm createFromOptions()
để thiết lập tác vụ đó. Hàm createFromOptions()
chấp nhận các giá trị cho các tuỳ chọn cấu hình. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Lựa chọn cấu hình.
Pose Towerer hỗ trợ các loại dữ liệu đầu vào sau đây: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn cần chỉ định chế độ chạy tương ứng với loại dữ liệu đầu vào khi tạo tác vụ. Chọn thẻ cho loại dữ liệu đầu vào của bạn để xem cách tạo công việc.
Bài đăng có hình ảnh
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.IMAGE) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Video
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.VIDEO) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Sự kiện trực tiếp
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setResultListener(this::returnLivestreamResult) .setErrorListener(this::returnLivestreamError) .setRunningMode(RunningMode.LIVE_STREAM) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Việc triển khai mã ví dụ về Pose Towerer cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong hàm setupPoseLandmarker()
ở tệp PoseLandmarkerHelper.kt
.
Các lựa chọn về cấu hình
Tác vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:
Tên lựa chọn | Nội dung mô tả | Khoảng giá trị | Giá trị mặc định |
---|---|---|---|
runningMode |
Đặt chế độ chạy cho tác vụ. Có 3 chế độ: IMAGE: Chế độ nhập một hình ảnh. VIDEO: Chế độ khung hình đã giải mã của video. LIVE_STREAM: Chế độ phát trực tiếp dữ liệu đầu vào, chẳng hạn như từ máy quay. Ở chế độ này, bạn phải gọi resultsListener để thiết lập trình nghe nhằm nhận kết quả không đồng bộ. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
numposes |
Số lượng tư thế tối đa có thể được phát hiện bằng Pose Towerer. | Integer > 0 |
1 |
minPoseDetectionConfidence |
Điểm số tin cậy tối thiểu để phát hiện tư thế được coi là thành công. | Float [0.0,1.0] |
0.5 |
minPosePresenceConfidence |
Điểm số tin cậy tối thiểu về sự hiện diện tư thế trong quá trình phát hiện mốc tư thế. | Float [0.0,1.0] |
0.5 |
minTrackingConfidence |
Điểm số tin cậy tối thiểu để việc theo dõi tư thế được coi là thành công. | Float [0.0,1.0] |
0.5 |
outputSegmentationMasks |
Liệu Pose quen thuộc có tạo ra một mặt nạ phân đoạn cho tư thế đã phát hiện hay không. | Boolean |
False |
resultListener |
Đặt trình nghe kết quả để nhận kết quả mốc không đồng bộ khi Pose Towerer đang ở chế độ phát trực tiếp.
Chỉ có thể sử dụng khi bạn đặt chế độ chạy thành LIVE_STREAM |
ResultListener |
N/A |
errorListener |
Thiết lập một trình nghe lỗi (không bắt buộc). | ErrorListener |
N/A |
Chuẩn bị dữ liệu
Pose Viewser hoạt động với hình ảnh, tệp video và luồng video trực tiếp. Tác vụ này sẽ xử lý trước bước xử lý dữ liệu đầu vào, bao gồm cả việc đổi kích thước, xoay và chuẩn hoá giá trị.
Mã sau đây minh hoạ cách chuyển giao dữ liệu cho việc xử lý. Các mẫu này bao gồm thông tin chi tiết về cách xử lý dữ liệu từ hình ảnh, tệp video và luồng video trực tiếp.
Bài đăng có hình ảnh
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(image).build()
Video
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage val argb8888Frame = if (frame.config == Bitmap.Config.ARGB_8888) frame else frame.copy(Bitmap.Config.ARGB_8888, false) // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(argb8888Frame).build()
Sự kiện trực tiếp
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(rotatedBitmap).build()
Trong mã ví dụ về Pose Viewser, việc chuẩn bị dữ liệu được xử lý trong tệp PoseLandmarkerHelper.kt
.
Chạy tác vụ
Tuỳ thuộc vào loại dữ liệu bạn đang xử lý, hãy sử dụng phương thức poseLandmarker.detect...()
dành riêng cho loại dữ liệu đó. Sử dụng
detect()
cho từng hình ảnh, detectForVideo()
cho khung hình trong tệp video
và detectAsync()
cho luồng video. Khi bạn đang thực hiện phát hiện trên một luồng video, hãy đảm bảo bạn chạy các quy trình phát hiện trên một luồng riêng để tránh chặn luồng xen kẽ của người dùng.
Các mã mẫu sau đây cho thấy các ví dụ đơn giản về cách chạy Pose Emojier ở các chế độ dữ liệu sau:
Bài đăng có hình ảnh
val result = poseLandmarker.detect(mpImage)
Video
val timestampMs = i * inferenceIntervalMs poseLandmarker.detectForVideo(mpImage, timestampMs) .let { detectionResult -> resultList.add(detectionResult) }
Sự kiện trực tiếp
val mpImage = BitmapImageBuilder(rotatedBitmap).build() val frameTime = SystemClock.uptimeMillis() poseLandmarker.detectAsync(mpImage, frameTime)
Xin lưu ý những điều sau:
- Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn phải cung cấp dấu thời gian của khung nhập dữ liệu cho tác vụ Pose Viewser.
- Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Pose Emojier sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào. Để tránh tình trạng người dùng xen kẽ, hãy thực thi quá trình xử lý trong luồng ở chế độ nền.
- Khi chạy ở chế độ phát trực tiếp, tác vụ Pose Emojier sẽ trả về ngay lập tức và không chặn luồng hiện tại. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào.
Trong mã ví dụ về Pose Towerer, các hàm detect
, detectForVideo
và detectAsync
được xác định trong tệp PoseLandmarkerHelper.kt
.
Xử lý và hiển thị kết quả
Pose Viewser sẽ trả về một đối tượng poseLandmarkerResult
trong mỗi lần chạy phát hiện. Đối tượng kết quả chứa toạ độ cho mỗi mốc tư thế.
Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
Kết quả đầu ra chứa cả toạ độ chuẩn hoá (Landmarks
) và toạ độ thế giới (WorldLandmarks
) cho từng điểm mốc.
Kết quả đầu ra chứa các toạ độ được chuẩn hoá sau (Landmarks
):
x
vày
: Các toạ độ của địa danh được chuẩn hoá trong khoảng từ 0 đến 1 theo chiều rộng hình ảnh (x
) và chiều cao (y
).z
: Độ sâu mốc, với độ sâu là điểm giữa của hông là điểm gốc. Giá trị càng nhỏ thì điểm mốc càng gần camera. Độ lớn của z sử dụng tỷ lệ gần bằng vớix
.visibility
: Khả năng điểm mốc sẽ xuất hiện trong hình ảnh.
Kết quả sẽ chứa các toạ độ trên thế giới sau đây (WorldLandmarks
):
x
,y
vàz
: Toạ độ 3 chiều thực tế tính bằng mét, với điểm giữa của hông là gốc.visibility
: Khả năng điểm mốc sẽ xuất hiện trong hình ảnh.
Hình ảnh sau đây minh hoạ kết quả của tác vụ:
Mặt nạ phân đoạn không bắt buộc biểu thị khả năng mỗi pixel thuộc về một người được phát hiện. Hình ảnh sau đây là mặt nạ phân đoạn của đầu ra tác vụ:
Mã ví dụ về Pose Viewser minh hoạ cách hiển thị kết quả trả về từ tác vụ. Vui lòng xem lớp OverlayView
để biết thêm thông tin chi tiết.