Hướng dẫn phát hiện điểm mốc trên tay cho Python

Nhiệm vụ MediaPipe Hand chunger cho phép bạn phát hiện các điểm mốc của bàn tay trong một hình ảnh. Các hướng dẫn này chỉ cho bạn cách sử dụng Tay mốc được tạo bằng Python. Mã mẫu được mô tả trong những hướng dẫn này hiện có trên GitHub.

Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ cho Bàn tay địa điểm cung cấp phương thức triển khai đầy đủ của tác vụ này trong Python để bạn tham khảo. Mã này giúp bạn kiểm thử tác vụ này và bắt đầu xây dựng trình phát hiện điểm mốc trên tay của riêng mình. Bạn có thể xem, chạy và chỉnh sửa mã ví dụ về Bàn tay nổi bật chỉ bằng trình duyệt web.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình cho các dự án dành riêng cho việc sử dụng Handmarker. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ của MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ MediaPipe Hand chunger cần có gói mediapipe PyPI. Bạn có thể cài đặt và nhập các phần phụ thuộc này bằng các thành phần sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau đây để truy cập vào các chức năng tác vụ của Trình đánh dấu trong tay:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Tác vụ MediaPipe Hand Accesser cần có một mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Bàn tay được đánh dấu, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ trong thư mục cục bộ:

model_path = '/absolute/path/to/gesture_recognizer.task'

Sử dụng tham số model_asset_path của đối tượng BaseOptions để chỉ định đường dẫn của mô hình sẽ sử dụng. Để biết ví dụ về mã, hãy xem phần tiếp theo.

Tạo việc cần làm

Tác vụ MediaPipe Hand RCSer sử dụng hàm create_from_options để thiết lập tác vụ. Hàm create_from_options chấp nhận các giá trị cho các tuỳ chọn cấu hình cần xử lý. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Lựa chọn cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.

Những mẫu này cũng cho thấy các biến thể của quá trình tạo tác vụ cho hình ảnh, tệp video và sự kiện phát trực tiếp.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the image mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the video mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
HandLandmarkerResult = mp.tasks.vision.HandLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the live stream mode:
def print_result(result: HandLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('hand landmarker result: {}'.format(result))

options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Để biết ví dụ đầy đủ về cách tạo Cột mốc cầm tay để sử dụng với hình ảnh, hãy xem ví dụ về mã.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi dữ liệu đó thành đối tượng mediapipe.Image. Nếu dữ liệu đầu vào là tệp video hoặc sự kiện phát trực tiếp từ webcam, bạn có thể sử dụng một thư viện bên ngoài, chẳng hạn như OpenCV để tải khung hình đầu vào dưới dạng các mảng numpy.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Cột mốc cầm tay sử dụng các hàm Hãy phát hiện, phát hiện_cho_video và phát hiện_không đồng bộ để kích hoạt các suy luận. Để phát hiện điểm mốc trên tay, quá trình này bao gồm việc xử lý trước dữ liệu đầu vào, phát hiện kim trong hình ảnh và phát hiện dấu vết kim.

Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the image mode.
hand_landmarker_result = landmarker.detect(mp_image)
    

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the video mode.
hand_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform hand landmarks detection.
# The results are accessible via the `result_callback` provided in
# the `HandLandmarkerOptions` object.
# The hand landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung nhập dữ liệu cho tác vụ Cột tay cầm tay.
• Khi chạy trong hình ảnh hoặc mô hình video, tác vụ có biểu tượng Bàn tay đánh dấu sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào.
• Khi chạy ở chế độ phát trực tiếp, tác vụ trên Bàn tay mốc không chặn luồng hiện tại mà sẽ trả về ngay lập tức. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong khung đầu vào. Nếu chức năng phát hiện được gọi khi tác vụ Người đánh dấu tay đang bận xử lý một khung khác, thì tác vụ đó sẽ bỏ qua khung đầu vào mới.

Để biết ví dụ đầy đủ về cách chạy Khung vẽ tay trên một hình ảnh, hãy xem ví dụ về mã để biết thông tin chi tiết.

Xử lý và hiển thị kết quả

Tay mốc có thể tạo một đối tượng kết quả của điểm mốc làm thủ công cho mỗi lần chạy phát hiện. Đối tượng kết quả chứa các mốc kim trong toạ độ hình ảnh, điểm mốc kim trên toạ độ thế giới và tỷ lệ thuận tay(tay trái/phải) của tay được phát hiện.

Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:

Đầu ra HandLandmarkerResult chứa 3 thành phần. Mỗi thành phần là một mảng, trong đó mỗi phần tử chứa các kết quả sau đây cho một kim được phát hiện:

• Tay thuận

  Tay thuận biểu thị việc tay được phát hiện là tay trái hay tay phải.

• Địa danh

  Có 21 điểm mốc kim, mỗi mốc bao gồm các toạ độ x, y và z. Các toạ độ x và y được chuẩn hoá lần lượt thành [0,0, 1,0] theo chiều rộng và chiều cao của hình ảnh. Toạ độ z thể hiện chiều sâu của điểm mốc, với chiều sâu ở cổ tay là gốc. Giá trị càng nhỏ, điểm đánh dấu càng gần với camera. Độ lớn của z sử dụng tỷ lệ gần tương tự như x.

• Điểm mốc Thế giới

  Các mốc 21 kim cũng được trình bày theo toạ độ trên thế giới. Mỗi điểm mốc bao gồm x, y và z, biểu thị các toạ độ 3D thực tế tính bằng mét với gốc toạ độ ở tâm hình học của kim đồng hồ.

HandLandmarkerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ về Cột mốc số tay minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem ví dụ về mã để biết thông tin chi tiết.