Hướng dẫn phát hiện điểm mốc trên tay cho Android

Nhiệm vụ Điểm mốc bằng tay MediaPipe cho phép bạn phát hiện các địa danh của bàn tay trong hình ảnh. Các hướng dẫn này chỉ cho bạn cách sử dụng Mốc bằng tay trên ứng dụng Android. Chiến lược phát hành đĩa đơn mã mẫu được mô tả trong các hướng dẫn này có trên GitHub.

Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Mã mẫu MediaPipe Tasks là một cách triển khai đơn giản cho tính năng Xác định vị trí bằng tay dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để liên tục phát hiện các điểm mốc trên bàn tay, đồng thời cũng có thể sử dụng hình ảnh và video từ thư viện thiết bị để phát hiện tĩnh các điểm mốc trên bàn tay.

Bạn có thể sử dụng ứng dụng này làm điểm khởi đầu cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng đó khi sửa đổi ứng dụng hiện có. Mã ví dụ về Thiết bị định vị bằng tay được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn chỉ có các tệp cho ứng dụng mẫu của tính năng Xác định vị trí bàn tay:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/hand_landmarker/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho điểm mốc kim này ví dụ về ứng dụng phát hiện:

• HandLandmarkerHelper.kt – Khởi chạy trình phát hiện mốc tay, đồng thời xử lý mô hình và uỷ quyền lựa chọn.
• MainActivity.kt – Triển khai ứng dụng, bao gồm cả việc gọi HandLandmarkerHelper.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình các dự án cụ thể để sử dụng Công cụ đánh dấu bằng tay. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Tác vụ Tạo điểm mốc bằng tay sử dụng com.google.mediapipe:tasks-vision thư viện của bạn. Thêm phần phụ thuộc này vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ Tạo điểm mốc bằng tay MediaPipe cần có một gói mô hình đã huấn luyện và tương thích với nhiệm vụ này. Để biết thêm thông tin về các mô hình đã được huấn luyện dành cho tính năng Xác định vị trí bằng tay, hãy xem phần Mô hình để xem tổng quan về nhiệm vụ.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định trong HandLandmarkerHelper.kt tệp:

baseOptionBuilder.setModelAssetPath(MP_HAND_LANDMARKER_TASK)

Tạo việc cần làm

Tác vụ Xác định vị trí bằng tay MediaPipe sử dụng hàm createFromOptions() để thiết lập công việc. Hàm createFromOptions() chấp nhận các giá trị cho cấu hình . Để biết thêm thông tin về các chế độ cấu hình, hãy xem Tuỳ chọn cấu hình.

Mốc này hỗ trợ 3 loại dữ liệu đầu vào: ảnh tĩnh, tệp video và phát trực tiếp. Bạn cần chỉ định chế độ đang chạy tương ứng với loại dữ liệu đầu vào khi tạo công việc. Chọn thẻ tương ứng với loại dữ liệu đầu vào để xem cách tạo tác vụ và chạy suy luận.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_HAND_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    HandLandmarker.HandLandmarkerOptions.builder()
        .setBaseOptions(baseOptions)
        .setMinHandDetectionConfidence(minHandDetectionConfidence)
        .setMinTrackingConfidence(minHandTrackingConfidence)
        .setMinHandPresenceConfidence(minHandPresenceConfidence)
        .setNumHands(maxNumHands)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()

handLandmarker =
    HandLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_HAND_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    HandLandmarker.HandLandmarkerOptions.builder()
        .setBaseOptions(baseOptions)
        .setMinHandDetectionConfidence(minHandDetectionConfidence)
        .setMinTrackingConfidence(minHandTrackingConfidence)
        .setMinHandPresenceConfidence(minHandPresenceConfidence)
        .setNumHands(maxNumHands)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()

handLandmarker =
    HandLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_HAND_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    HandLandmarker.HandLandmarkerOptions.builder()
        .setBaseOptions(baseOptions)
        .setMinHandDetectionConfidence(minHandDetectionConfidence)
        .setMinTrackingConfidence(minHandTrackingConfidence)
        .setMinHandPresenceConfidence(minHandPresenceConfidence)
        .setNumHands(maxNumHands)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()

handLandmarker =
    HandLandmarker.createFromOptions(context, options)
    

Việc triển khai mã mẫu cho Kỹ thuật đánh dấu bằng tay cho phép người dùng chuyển đổi giữa chế độ xử lý. Phương pháp này làm cho mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong Hàm setupHandLandmarker() trong HandLandmarkerHelper.kt .

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Ứng dụng tạo điểm mốc bằng tay có thể xử lý hình ảnh, tệp video và video phát trực tiếp. Việc cần làm xử lý tiền xử lý đầu vào dữ liệu, bao gồm đổi kích thước, xoay và giá trị chuẩn hoá dữ liệu.

Mã sau đây minh hoạ cách chuyển giao dữ liệu để xử lý. Các đề mục này mẫu bao gồm thông tin chi tiết về cách xử lý dữ liệu từ hình ảnh, tệp video và lượt phát video trực tuyến.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Trong Mã ví dụ về Trình phân cách thủ công, việc chuẩn bị dữ liệu được xử lý trong HandLandmarkerHelper.kt .

Chạy tác vụ

Tùy thuộc vào loại dữ liệu bạn đang xử lý, hãy sử dụng HandLandmarker.detect...() dành riêng cho loại dữ liệu đó. Sử dụng detect() đối với từng hình ảnh, detectForVideo() cho khung hình trong tệp video và detectAsync() đối với luồng video. Khi bạn phát hiện một luồng video, hãy đảm bảo bạn chạy các phát hiện trên một chuỗi riêng để tránh chặn luồng giao diện người dùng.

Các mã mẫu sau đây minh hoạ các ví dụ đơn giản về cách chạy tính năng Xác định vị trí bằng tay ở các chế độ dữ liệu sau:

val result = handLandmarker?.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

handLandmarker?.detectForVideo(mpImage, timestampMs)
    ?.let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

handLandmarker?.detectAsync(mpImage, frameTime)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung nhập cho tác vụ Xác định vị trí bằng tay.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Tạo điểm mốc bằng tay sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh đầu vào hoặc khung. Để tránh chặn giao diện người dùng, hãy thực thi quá trình xử lý trong một luồng trong nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Xác định vị trí bằng tay sẽ không chặn luồng hiện tại nhưng trả về ngay lập tức. Tham số này sẽ gọi ra kết quả mỗi khi xử lý xong một trình xử lý khung đầu vào. Nếu chức năng phát hiện được gọi khi tác vụ Xác định vị trí bằng tay đang bận xử lý một khung khác, tác vụ sẽ bỏ qua khung nhập mới.

Trong Mã mẫu của Mốc đánh dấu bằng tay, detect, detectForVideo và Hàm detectAsync được định nghĩa trong HandLandmarkerHelper.kt .

Xử lý và hiện kết quả

Trình tạo mốc cầm tay tạo ra một đối tượng kết quả cho phép tạo mốc cầm tay cho mỗi lần phát hiện chạy. Đối tượng kết quả chứa các điểm mốc bàn tay trong toạ độ hình ảnh, bàn tay địa danh tại các toạ độ và tay thuận trên thế giới(tay trái/phải) của các địa danh được phát hiện tay.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

Dữ liệu đầu ra HandLandmarkerResult chứa 3 thành phần. Mỗi thành phần là một mảng, trong đó mỗi phần tử chứa các kết quả sau đây cho một bàn tay được phát hiện:

• Tay thuận

  Tay thuận cho biết tay trái hay tay phải.

• Địa danh

  Có 21 điểm mốc kim, mỗi điểm bao gồm các toạ độ x, y và z. Chiến lược phát hành đĩa đơn Toạ độ x và y được chuẩn hoá thành [0, 1, 1] theo chiều rộng của hình ảnh và chiều cao tương ứng. Toạ độ z biểu thị độ sâu của điểm mốc, với độ sâu ở cổ tay là điểm gốc. Giá trị càng nhỏ thì là đến máy ảnh. Độ lớn của z có cùng tỷ lệ với x

• Điểm mốc Thế giới

  Các mốc 21 kim đồng hồ cũng được thể hiện trên toạ độ thế giới. Mỗi mốc bao gồm x, y và z, thể hiện các toạ độ 3D thực tế trong mét có gốc toạ độ ở tâm hình học của kim đồng hồ.

HandLandmarkerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ về Mốc quan trọng bằng tay minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem OverlayView để biết thêm chi tiết.