Hướng dẫn phát hiện điểm mốc trên tay cho Python

Nhiệm vụ Điểm mốc bằng tay MediaPipe cho phép bạn phát hiện các địa danh của bàn tay trong hình ảnh. Các hướng dẫn này chỉ cho bạn cách sử dụng tính năng Xác định vị trí bằng tay với Python. Chiến lược phát hành đĩa đơn mã mẫu được mô tả trong các hướng dẫn này có trên GitHub.

Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Mã mẫu cho tính năng Mốc ranh giới bằng tay cung cấp cách triển khai hoàn chỉnh công việc bằng Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và đã bắt đầu bằng việc tạo trình phát hiện mốc bằng tay của riêng bạn. Bạn có thể xem, chạy và chỉnh sửa Mã ví dụ về Mốc chỉ tay chỉ bằng trình duyệt web.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình các dự án cụ thể để sử dụng Công cụ đánh dấu bằng tay. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ Xác định vị trí bằng tay MediaPipe cần có gói PyPI mediapipe. Bạn có thể cài đặt và nhập các phần phụ thuộc này bằng cách làm như sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các chức năng của tác vụ Xác định vị trí bằng tay:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Tác vụ tạo điểm mốc bằng tay MediaPipe cần có một mô hình đã qua đào tạo tương thích với công việc. Để biết thêm thông tin về các mô hình đã qua đào tạo dành cho tính năng Xác định vị trí bằng tay, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong một thư mục trên máy:

model_path = '/absolute/path/to/gesture_recognizer.task'

Sử dụng tham số model_asset_path của đối tượng BaseOptions để chỉ định đường dẫn của mô hình để sử dụng. Để xem ví dụ về mã, hãy xem phần tiếp theo.

Tạo việc cần làm

Tác vụ Trình phân cách bằng tay MediaPipe sử dụng hàm create_from_options để thiết lập việc cần làm. Hàm create_from_options chấp nhận các giá trị để biết các tuỳ chọn cấu hình cần xử lý. Để biết thêm thông tin về cấu hình hãy xem phần Tuỳ chọn cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.

Những mẫu này cũng cho thấy các biến thể của quá trình tạo tác vụ đối với hình ảnh, tệp video và phát trực tiếp.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the image mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the video mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
HandLandmarkerResult = mp.tasks.vision.HandLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the live stream mode:
def print_result(result: HandLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('hand landmarker result: {}'.format(result))

options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Để xem ví dụ đầy đủ về cách tạo Điểm đánh dấu bằng tay để sử dụng với hình ảnh, hãy xem mã ví dụ.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi thành đối tượng mediapipe.Image. Nếu nội dung bạn nhập là tệp video hoặc phát trực tiếp trên webcam, thì bạn có thể dùng thư viện bên ngoài như OpenCV để tải các khung đầu vào của bạn dưới dạng numpy mảng.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Tính năng Xác định vị trí tay sử dụng sự phát hiện, phát hiện_for_video và tốc độ phát hiện_không đồng bộ để kích hoạt suy luận. Đối với tính năng phát hiện dấu mốc trên tay, công cụ này bao gồm xử lý trước dữ liệu đầu vào, phát hiện bàn tay trong hình ảnh và bàn tay phát hiện mốc.

Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the image mode.
hand_landmarker_result = landmarker.detect(mp_image)
    

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the video mode.
hand_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform hand landmarks detection.
# The results are accessible via the `result_callback` provided in
# the `HandLandmarkerOptions` object.
# The hand landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp cho tác vụ Đánh dấu bằng tay về dấu thời gian của khung nhập.
• Khi chạy trong hình ảnh hoặc mô hình video, tác vụ Xác định vị trí bằng tay sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh đầu vào hoặc khung.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Xác định vị trí bằng tay sẽ không chặn luồng hiện tại nhưng trả về ngay lập tức. Tham số này sẽ gọi ra kết quả trình nghe có kết quả phát hiện mỗi khi xử lý xong khung đầu vào. Nếu chức năng phát hiện được gọi khi Thiết bị định vị bằng tay tác vụ đang bận xử lý một khung khác, tác vụ sẽ bỏ qua khung nhập mới.

Để có ví dụ đầy đủ về cách chạy Máy đánh dấu bằng tay trên hình ảnh, hãy xem mã ví dụ để biết thông tin chi tiết.

Xử lý và hiện kết quả

Trình tạo mốc cầm tay tạo ra một đối tượng kết quả cho phép tạo mốc cầm tay cho mỗi lần phát hiện chạy. Đối tượng kết quả chứa các điểm mốc bàn tay trong toạ độ hình ảnh, bàn tay địa danh tại các toạ độ và tay thuận trên thế giới(tay trái/phải) của các địa danh được phát hiện tay.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

Dữ liệu đầu ra HandLandmarkerResult chứa 3 thành phần. Mỗi thành phần là một mảng, trong đó mỗi phần tử chứa các kết quả sau đây cho một bàn tay được phát hiện:

• Tay thuận

  Tay thuận cho biết tay trái hay tay phải.

• Địa danh

  Có 21 điểm mốc kim, mỗi điểm bao gồm các toạ độ x, y và z. Chiến lược phát hành đĩa đơn Toạ độ x và y được chuẩn hoá thành [0, 1, 1] theo chiều rộng của hình ảnh và chiều cao tương ứng. Toạ độ z biểu thị độ sâu của điểm mốc, với độ sâu ở cổ tay là điểm gốc. Giá trị càng nhỏ thì là đến máy ảnh. Độ lớn của z có cùng tỷ lệ với x.

• Điểm mốc Thế giới

  Các mốc 21 kim đồng hồ cũng được thể hiện trên toạ độ thế giới. Mỗi mốc bao gồm x, y và z, thể hiện các toạ độ 3D thực tế trong mét có gốc toạ độ ở tâm hình học của kim đồng hồ.

HandLandmarkerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ về Mốc quan trọng bằng tay minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem mã ví dụ để biết thông tin chi tiết.