Đặt hướng dẫn phát hiện mốc cho Python

Nhiệm vụ MediaPipe Pose vừa giới thiệu cho phép bạn phát hiện các điểm mốc của cơ thể người trong hình ảnh hoặc video. Bạn có thể dùng nhiệm vụ này để xác định các vị trí quan trọng của cơ thể, phân tích tư thế và phân loại chuyển động. Nhiệm vụ này sử dụng các mô hình học máy (ML) hoạt động với các hình ảnh hoặc video đơn lẻ. Nhiệm vụ này sẽ đưa ra các mốc tạo dáng cơ thể theo toạ độ hình ảnh và toạ độ thế giới 3 chiều.

Mã mẫu được mô tả trong những hướng dẫn này hiện có trên GitHub. Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ cho Pose Emojier cung cấp phương thức triển khai đầy đủ của tác vụ này trong Python để bạn tham khảo. Mã này giúp bạn kiểm thử tác vụ này và bắt đầu tạo điểm mốc tạo tư thế của riêng bạn. Bạn có thể xem, chạy và chỉnh sửa mã ví dụ về Pose Emojier chỉ bằng trình duyệt web.

Nếu bạn đang triển khai Pose Viewser cho Rspberry Pi, hãy tham khảo ứng dụng mẫu Rspberry Pi.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình cho các dự án cụ thể để sử dụng Pose Viewser. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ của MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ MediaPipe Pose Editioner cần có gói Mediapipe PyPI. Bạn có thể cài đặt và nhập các phần phụ thuộc này bằng các thành phần sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các chức năng tác vụ của Pose Emojier:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Tác vụ MediaPipe Pose Viewser cần có một mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Pose Emojier, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ trong thư mục cục bộ:

model_path = '/absolute/path/to/pose_landmarker.task'

Sử dụng tham số model_asset_path của đối tượng BaseOptions để chỉ định đường dẫn của mô hình sẽ sử dụng. Để biết ví dụ về mã, hãy xem phần tiếp theo.

Tạo việc cần làm

Tác vụ MediaPipe Pose Viewser sử dụng hàm create_from_options để thiết lập tác vụ đó. Hàm create_from_options chấp nhận các giá trị cho các tuỳ chọn cấu hình cần xử lý. Để biết thêm thông tin, hãy xem phần Các lựa chọn về cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.

Những mẫu này cũng cho thấy các biến thể của quá trình tạo tác vụ cho hình ảnh, tệp video và sự kiện phát trực tiếp.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.IMAGE)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the video mode:
options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.VIDEO)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
PoseLandmarkerResult = mp.tasks.vision.PoseLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the live stream mode:
def print_result(result: PoseLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('pose landmarker result: {}'.format(result))

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Để biết ví dụ đầy đủ về cách tạo một Pose vô hình để sử dụng với hình ảnh, hãy xem ví dụ về mã.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi dữ liệu đó thành đối tượng mediapipe.Image. Nếu dữ liệu đầu vào là tệp video hoặc sự kiện phát trực tiếp từ webcam, bạn có thể sử dụng một thư viện bên ngoài, chẳng hạn như OpenCV để tải khung hình đầu vào dưới dạng các mảng numpy.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Pose Towerer sử dụng các hàm detect, detect_for_video và detect_async để kích hoạt thông tin dự đoán. Để tạo điểm mốc, cần xử lý trước dữ liệu đầu vào và phát hiện các tư thế trong hình ảnh.

Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the image mode.
pose_landmarker_result = landmarker.detect(mp_image)
    

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the video mode.
pose_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform pose landmarking.
# The results are accessible via the `result_callback` provided in
# the `PoseLandmarkerOptions` object.
# The pose landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, hãy cung cấp dấu thời gian của khung hình đầu vào cho tác vụ Pose Emojier.
• Khi chạy trong hình ảnh hoặc mô hình video, tác vụ Pose vô mốc sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Pose Emojier sẽ trả về ngay lập tức và không chặn luồng hiện tại. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào. Nếu hàm phát hiện được gọi khi tác vụ Pose Emojier đang bận xử lý một khung khác, tác vụ đó sẽ bỏ qua khung đầu vào mới.

Để biết ví dụ đầy đủ về cách chạy Pose Viewser trên một hình ảnh, hãy xem ví dụ về mã để biết thông tin chi tiết.

Xử lý và hiển thị kết quả

Pose Viewser sẽ trả về một đối tượng poseLandmarkerResult trong mỗi lần chạy phát hiện. Đối tượng kết quả chứa toạ độ cho mỗi mốc tư thế.

Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

Kết quả đầu ra chứa cả toạ độ chuẩn hoá (Landmarks) và toạ độ thế giới (WorldLandmarks) cho từng điểm mốc.

Kết quả đầu ra chứa các toạ độ được chuẩn hoá sau (Landmarks):

• x và y: Các toạ độ của địa danh được chuẩn hoá trong khoảng từ 0 đến 1 theo chiều rộng hình ảnh (x) và chiều cao (y).

• z: Độ sâu mốc, với độ sâu là điểm giữa của hông là điểm gốc. Giá trị càng nhỏ thì điểm mốc càng gần camera. Độ lớn của z sử dụng tỷ lệ gần bằng với x.

• visibility: Khả năng điểm mốc sẽ xuất hiện trong hình ảnh.

Kết quả sẽ chứa các toạ độ trên thế giới sau đây (WorldLandmarks):

• x, y và z: Toạ độ 3 chiều thực tế tính bằng mét, với điểm giữa của hông là gốc.

• visibility: Khả năng điểm mốc sẽ xuất hiện trong hình ảnh.

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mặt nạ phân đoạn không bắt buộc biểu thị khả năng mỗi pixel thuộc về một người được phát hiện. Hình ảnh sau đây là mặt nạ phân đoạn của đầu ra tác vụ:

Mã ví dụ về Pose Viewser minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem ví dụ về mã để biết thông tin chi tiết.