Đặt hướng dẫn phát hiện mốc cho Python

Nhiệm vụ MediaPipe Pose Tager cho phép bạn phát hiện các địa danh của cơ thể người trong một hình ảnh hoặc video. Bạn có thể sử dụng nhiệm vụ này để xác định vị trí chính của cơ thể, phân tích tư thế, và phân loại các chuyển động. Nhiệm vụ này sử dụng các mô hình học máy (ML) bạn có thể làm việc với các hình ảnh hoặc video đơn lẻ. Tác vụ sẽ xuất ra các điểm mốc tạo dáng cơ thể trong hình ảnh và toạ độ trong các toạ độ thế giới 3 chiều.

Mã mẫu được mô tả trong các hướng dẫn này có trên GitHub. Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Mã mẫu cho tính năng Mốc quan trọng tư thế cung cấp triển khai hoàn chỉnh tính năng này công việc bằng Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và bắt đầu bằng việc xây dựng công cụ xác định tư thế của riêng bạn. Bạn có thể xem, chạy và chỉnh sửa Mã ví dụ về Pose Vitals chỉ bằng trình duyệt web.

Nếu bạn đang triển khai tính năng Điểm mốc tư thế cho Raspberry Pi, hãy tham khảo Ví dụ về Raspberry Pi ứng dụng.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình các dự án cụ thể để sử dụng Pose Tager. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ Tạo điểm mốc MediaPipe Pose cần có gói PyPI mediapipe. Bạn có thể cài đặt và nhập các phần phụ thuộc này bằng cách làm như sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các hàm tác vụ của Trình phân cách Pose:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Tác vụ Tạo điểm mốc MediaPipe Pose cần có một mô hình đã huấn luyện tương thích với chức năng này công việc. Để biết thêm thông tin về các mô hình đã được huấn luyện cho tính năng Điểm mốc tư thế, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong một thư mục trên máy:

model_path = '/absolute/path/to/pose_landmarker.task'

Sử dụng tham số model_asset_path của đối tượng BaseOptions để chỉ định đường dẫn của mô hình để sử dụng. Để xem ví dụ về mã, hãy xem phần tiếp theo.

Tạo việc cần làm

Tác vụ Trình phân cách vị trí MediaPipe sử dụng hàm create_from_options để thiết lập việc cần làm. Hàm create_from_options chấp nhận các giá trị để biết các tuỳ chọn cấu hình cần xử lý. Để biết thêm thông tin, hãy xem Tuỳ chọn cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.

Những mẫu này cũng cho thấy các biến thể của quá trình tạo tác vụ đối với hình ảnh, tệp video và phát trực tiếp.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.IMAGE)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the video mode:
options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.VIDEO)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
PoseLandmarker = mp.tasks.vision.PoseLandmarker
PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions
PoseLandmarkerResult = mp.tasks.vision.PoseLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a pose landmarker instance with the live stream mode:
def print_result(result: PoseLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('pose landmarker result: {}'.format(result))

options = PoseLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)

with PoseLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Để xem ví dụ hoàn chỉnh về cách tạo Điểm đánh dấu tư thế để sử dụng với hình ảnh, hãy xem mã ví dụ.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi thành đối tượng mediapipe.Image. Nếu nội dung bạn nhập là tệp video hoặc phát trực tiếp trên webcam, thì bạn có thể dùng thư viện bên ngoài như OpenCV để tải các khung đầu vào của bạn dưới dạng numpy mảng.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Điểm mốc tư thế sử dụng detect, detect_for_video và detect_async để kích hoạt suy luận. Để tạo điểm mốc tạo dáng, xử lý trước dữ liệu đầu vào và phát hiện các tư thế trong hình ảnh.

Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the image mode.
pose_landmarker_result = landmarker.detect(mp_image)
    

# Perform pose landmarking on the provided single image.
# The pose landmarker must be created with the video mode.
pose_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform pose landmarking.
# The results are accessible via the `result_callback` provided in
# the `PoseLandmarkerOptions` object.
# The pose landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, cung cấp dấu thời gian của khung nhập dữ liệu cho tác vụ Tạo điểm mốc tư thế.
• Khi chạy trong hình ảnh hoặc mô hình video, tác vụ Tạo điểm mốc tư thế chặn luồng hiện tại cho đến khi xử lý xong hình ảnh đầu vào hoặc khung.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Tạo điểm mốc tư thế sẽ trả về ngay lập tức và không chặn luồng hiện tại. Phương thức này sẽ gọi ra kết quả với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào. Nếu hàm phát hiện được gọi khi tác vụ Tạo điểm mốc tư thế đang bận xử lý một khung khác, tác vụ sẽ bỏ qua khung nhập mới.

Để có ví dụ hoàn chỉnh về cách chạy Trình xác định tư thế đứng trên một hình ảnh, hãy xem mã ví dụ để biết thông tin chi tiết.

Xử lý và hiện kết quả

Trình xác định tư thế trả về một đối tượng poseLandmarkerResult cho mỗi lần phát hiện chạy. Đối tượng kết quả chứa toạ độ cho từng mốc đặt tư thế.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

Kết quả đầu ra chứa cả toạ độ chuẩn hoá (Landmarks) và thế giới toạ độ (WorldLandmarks) cho từng mốc.

Kết quả đầu ra chứa các toạ độ được chuẩn hoá sau (Landmarks):

• x và y: Toạ độ điểm mốc được chuẩn hoá trong khoảng từ 0,0 đến 1,0 theo chiều rộng và chiều cao của hình ảnh (x) (y).

• z: Độ sâu của mốc, trong đó độ sâu ở điểm giữa hông là máy chủ gốc. Giá trị càng nhỏ thì điểm mốc càng gần camera. Chiến lược phát hành đĩa đơn độ lớn của z có cùng tỷ lệ với x.

• visibility: Khả năng điểm mốc hiển thị trong hình ảnh.

Kết quả đầu ra chứa các toạ độ thế giới sau (WorldLandmarks):

• x, y và z: Toạ độ 3 chiều thế giới thực tính bằng mét, với là điểm giữa của hông.

• visibility: Khả năng điểm mốc hiển thị trong hình ảnh.

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mặt nạ phân đoạn tuỳ chọn thể hiện khả năng thuộc về từng pixel cho một người bị phát hiện. Hình ảnh sau đây là mặt nạ phân đoạn của kết quả tác vụ:

Mã ví dụ về Điểm quan hệ tư thế minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem mã ví dụ để biết thông tin chi tiết.