Hướng dẫn phát hiện điểm mốc trên tay cho Python

Nhiệm vụ Điểm mốc bằng tay MediaPipe cho phép bạn phát hiện các địa danh của bàn tay trong một hình ảnh. Những hướng dẫn này cho bạn biết cách sử dụng Hand Landmarker bằng Python. Bạn có thể xem mã mẫu được mô tả trong các hướng dẫn này trên GitHub.

Để biết thêm thông tin về các tính năng, mô hình và tuỳ chọn cấu hình của tác vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ cho Hand Landmarker cung cấp cách triển khai đầy đủ nhiệm vụ này trong Python để bạn tham khảo. Mã này giúp bạn kiểm thử nhiệm vụ này và bắt đầu tạo trình phát hiện điểm đánh dấu trên tay của riêng mình. Bạn có thể xem, chạy và chỉnh sửa mã ví dụ về Điểm đánh dấu bằng tay chỉ bằng trình duyệt web.

Nếu bạn đang triển khai Hand Landmarker cho Raspberry Pi, hãy tham khảo ứng dụng mẫu Raspberry Pi.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và dự án mã dành riêng cho việc sử dụng Hand Landmarker. Để biết thông tin chung về cách thiết lập môi trường phát triển cho việc sử dụng các tác vụ MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ Điểm đánh dấu tay MediaPipe yêu cầu gói mediapipe PyPI. Bạn có thể cài đặt và nhập các phần phụ thuộc này bằng cách sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các chức năng tác vụ của tính năng Xác định vị trí bằng tay:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Tác vụ Điểm đánh dấu trên tay của MediaPipe yêu cầu một mô hình đã huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho tính năng Điểm đánh dấu trên tay, hãy xem phần Mô hình trong phần tổng quan về tác vụ.

Chọn và tải mô hình xuống, sau đó lưu mô hình đó vào một thư mục cục bộ:

model_path = '/absolute/path/to/gesture_recognizer.task'

Sử dụng tham số model_asset_path của đối tượng BaseOptions để chỉ định đường dẫn của mô hình cần sử dụng. Để biết ví dụ về mã, hãy xem phần tiếp theo.

Tạo việc cần làm

Tác vụ Điểm đánh dấu tay của MediaPipe sử dụng hàm create_from_options để thiết lập tác vụ. Hàm create_from_options chấp nhận các giá trị cho các tuỳ chọn cấu hình để xử lý. Để biết thêm thông tin về các tuỳ chọn cấu hình, hãy xem phần Tuỳ chọn cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.

Các mẫu này cũng cho thấy các biến thể của cấu trúc tác vụ cho hình ảnh, tệp video và sự kiện phát trực tiếp.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the image mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the video mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
HandLandmarkerResult = mp.tasks.vision.HandLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the live stream mode:
def print_result(result: HandLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('hand landmarker result: {}'.format(result))

options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Để biết ví dụ đầy đủ về cách tạo Mốc bằng tay để sử dụng với hình ảnh, hãy xem ví dụ về mã.

Các lựa chọn về cấu hình

Tác vụ này có các tuỳ chọn cấu hình sau đây cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi dữ liệu đó thành đối tượng mediapipe.Image. Nếu dữ liệu đầu vào là tệp video hoặc luồng trực tiếp từ webcam, bạn có thể sử dụng thư viện bên ngoài như OpenCV để tải các khung hình đầu vào dưới dạng mảng numpy.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Hand Landmarker sử dụng các hàm phát hiện, phát hiện_cho_video và phát hiện_không đồng bộ để kích hoạt suy luận. Đối với tính năng phát hiện điểm mốc trên tay, bạn cần xử lý trước dữ liệu đầu vào, phát hiện tay trong hình ảnh và phát hiện điểm mốc trên tay.

Đoạn mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the image mode.
hand_landmarker_result = landmarker.detect(mp_image)
    

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the video mode.
hand_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform hand landmarks detection.
# The results are accessible via the `result_callback` provided in
# the `HandLandmarkerOptions` object.
# The hand landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp cho tác vụ Hand Landmarker dấu thời gian của khung đầu vào.
• Khi chạy trong mô hình hình ảnh hoặc video, tác vụ Hand Landmarker sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung hình đầu vào.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Hand Landmarker không chặn luồng hiện tại mà trả về ngay lập tức. Phương thức này sẽ gọi trình nghe kết quả với kết quả phát hiện mỗi khi hoàn tất quá trình xử lý khung đầu vào. Nếu hàm phát hiện được gọi khi tác vụ Điểm đánh dấu trên tay đang bận xử lý một khung hình khác, thì tác vụ này sẽ bỏ qua khung đầu vào mới.

Để xem ví dụ đầy đủ về cách chạy Hand Landmarker trên hình ảnh, hãy xem ví dụ về mã để biết thông tin chi tiết.

Xử lý và hiện kết quả

Hand Landmarker tạo một đối tượng kết quả của hand landmarker cho mỗi lần chạy phát hiện. Đối tượng kết quả chứa các điểm đánh dấu tay theo toạ độ hình ảnh, các điểm đánh dấu tay theo toạ độ thế giới và kiểu tay(tay trái/tay phải) của các tay được phát hiện.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

Đầu ra HandLandmarkerResult chứa ba thành phần. Mỗi thành phần là một mảng, trong đó mỗi phần tử chứa các kết quả sau đây cho một bàn tay được phát hiện:

• Tay thuận

  Tay thuận cho biết tay trái hay tay phải.

• Địa danh

  Có 21 điểm mốc kim, mỗi điểm bao gồm các toạ độ x, y và z. Toạ độ x và y được chuẩn hoá thành [0,0, 1,0] theo chiều rộng và chiều cao của hình ảnh tương ứng. Toạ độ z biểu thị độ sâu của điểm mốc, trong đó độ sâu tại cổ tay là điểm gốc. Giá trị càng nhỏ thì điểm đánh dấu càng gần máy ảnh. Magnitude của z sử dụng gần giống với quy mô của x.

• Điểm mốc Thế giới

  Các mốc 21 kim đồng hồ cũng được thể hiện trên toạ độ thế giới. Mỗi điểm đánh dấu bao gồm x, y và z, đại diện cho toạ độ 3D trong thực tế tính bằng mét, với gốc tại tâm hình học của tay.

HandLandmarkerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ về Hand Landmarker minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem ví dụ về mã để biết thông tin chi tiết.