Hướng dẫn phát hiện khuôn mặt dành cho Android

Nhiệm vụ của Trình phát hiện khuôn mặt MediaPipe cho phép bạn phát hiện các khuôn mặt trong một hình ảnh hoặc video. Bạn có thể sử dụng nhiệm vụ này nhằm xác định vị trí khuôn mặt và các đặc điểm trên khuôn mặt trong một khung hình. Nhiệm vụ này sử dụng một mô hình học máy (ML) hoạt động với các hình ảnh đơn lẻ hoặc luồng hình ảnh. Tác vụ sẽ xuất ra các vị trí khuôn mặt cùng với các giá trị sau các điểm chính trên khuôn mặt: mắt trái, mắt phải, đầu mũi, miệng, vị trí mắt trái và cận mắt phải.

Bạn có thể xem mã mẫu được mô tả trong các hướng dẫn này về GitHub. Để biết thêm thông tin về các tính năng, mô hình và các tuỳ chọn cấu hình của tác vụ này, xem Tổng quan.

Ví dụ về mã

Mã ví dụ về MediaPipe Tasks là cách triển khai đơn giản của Trình phát hiện khuôn mặt dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để nhận diện khuôn mặt trong luồng video liên tục. Ứng dụng này cũng có thể phát hiện các khuôn mặt trong hình ảnh và video qua thư viện trên thiết bị.

Bạn có thể sử dụng ứng dụng này làm điểm khởi đầu cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng đó khi sửa đổi ứng dụng hiện có. Mã ví dụ về Trình phát hiện khuôn mặt được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn chỉ có các tệp cho ứng dụng mẫu của Trình phát hiện khuôn mặt:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_detector/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho ví dụ về tính năng phát hiện khuôn mặt này ứng dụng:

• FaceDetectorHelper.kt – Khởi chạy trình phát hiện khuôn mặt, đồng thời xử lý mô hình và uỷ quyền lựa chọn.
• CameraFragment.kt – Xử lý máy ảnh của thiết bị, đồng thời xử lý dữ liệu đầu vào hình ảnh và video.
• GalleryFragment.kt – Tương tác với OverlayView để hiển thị video hoặc hình ảnh đầu ra.
• OverlayView.kt – Triển khai màn hình có hộp giới hạn cho các khuôn mặt được phát hiện.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án cụ thể để sử dụng Trình phát hiện khuôn mặt. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Tác vụ Trình phát hiện khuôn mặt sử dụng com.google.mediapipe:tasks-vision thư viện của bạn. Thêm phần phụ thuộc này vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Nhiệm vụ Trình phát hiện khuôn mặt MediaPipe yêu cầu một gói mô hình đã huấn luyện tương thích với nhiệm vụ này. Để biết thêm thông tin về các mô hình đã được huấn luyện dành cho tính năng Phát hiện khuôn mặt, hãy xem phần Mô hình để xem tổng quan về nhiệm vụ.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định trong FaceDetectorHelper.kt tệp:

val modelName = "face_detection_short_range.tflite"
baseOptionsBuilder.setModelAssetPath(modelName)

Tạo việc cần làm

Tác vụ Trình phát hiện khuôn mặt MediaPipe sử dụng hàm createFromOptions() để thiết lập công việc. Hàm createFromOptions() chấp nhận các giá trị cho cấu hình . Để biết thêm thông tin về các chế độ cấu hình, hãy xem Tuỳ chọn cấu hình.

Trình phát hiện khuôn mặt hỗ trợ các loại dữ liệu đầu vào sau: ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn cần chỉ định chế độ đang chạy tương ứng với loại dữ liệu đầu vào khi tạo công việc. Chọn thẻ tương ứng với loại dữ liệu đầu vào để xem cách tạo tác vụ và chạy suy luận.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)
    

Việc triển khai mã mẫu của Trình phát hiện khuôn mặt cho phép người dùng chuyển đổi giữa chế độ xử lý. Phương pháp này làm cho mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong Hàm setupFaceDetector() trong FaceDetectorHelper.kt .

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Trình phát hiện khuôn mặt hoạt động với hình ảnh, tệp video và luồng video trực tiếp. Việc cần làm xử lý tiền xử lý đầu vào dữ liệu, bao gồm đổi kích thước, xoay và giá trị chuẩn hoá dữ liệu.

Mã sau đây minh hoạ cách chuyển giao dữ liệu để xử lý. Các mẫu bao gồm thông tin chi tiết về cách xử lý dữ liệu từ hình ảnh, tệp video và lượt phát video trực tuyến.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Trong Mã ví dụ về Trình phát hiện khuôn mặt, việc chuẩn bị dữ liệu được xử lý trong FaceDetectorHelper.kt .

Chạy tác vụ

Tùy thuộc vào loại dữ liệu bạn đang xử lý, hãy sử dụng faceDetector.detect...() dành riêng cho loại dữ liệu đó. Sử dụng detect() đối với từng hình ảnh, detectForVideo() cho khung hình trong tệp video và detectAsync() đối với luồng video. Khi bạn phát hiện một luồng video, hãy đảm bảo bạn chạy các phát hiện trên một chuỗi riêng để tránh chặn luồng giao diện người dùng.

Các mã mẫu sau đây là ví dụ đơn giản về cách chạy Trình phát hiện khuôn mặt ở các chế độ dữ liệu sau:

val result = faceDetector.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

faceDetector.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

faceDetector.detectAsync(mpImage, frameTime)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn phải cung cấp dấu thời gian của khung nhập cho nhiệm vụ Trình phát hiện khuôn mặt.
• Khi chạy ở chế độ hình ảnh hoặc video, nhiệm vụ của Trình phát hiện khuôn mặt chặn luồng hiện tại cho đến khi xử lý xong hình ảnh đầu vào hoặc khung. Để tránh chặn giao diện người dùng, hãy thực thi quá trình xử lý trong một luồng trong nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phát hiện khuôn mặt sẽ trả về ngay lập tức và không chặn luồng hiện tại. Phương thức này sẽ gọi ra kết quả với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào. Nếu hàm phát hiện được gọi khi thực hiện nhiệm vụ Trình phát hiện khuôn mặt đang bận xử lý một khung khác, tác vụ sẽ bỏ qua khung nhập mới.

Trong Mã ví dụ của Trình phát hiện khuôn mặt, detect, detectForVideo và Hàm detectAsync được định nghĩa trong FaceDetectorHelper.kt .

Xử lý và hiện kết quả

Trình phát hiện khuôn mặt trả về một đối tượng FaceDetectorResult cho mỗi lần phát hiện chạy. Đối tượng kết quả chứa các hộp giới hạn cho các khuôn mặt được phát hiện và điểm số tin cậy cho mỗi khuôn mặt được phát hiện.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

FaceDetectionResult:
  Detections:
    Detection #0:
      BoundingBox:
        origin_x: 126
        origin_y: 100
        width: 463
        height: 463
      Categories:
        Category #0:
          index: 0
          score: 0.9729152917861938
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.18298381567001343
          y: 0.2961040139198303
        NormalizedKeypoint #1:
          x: 0.3302789330482483
          y: 0.29289937019348145
        ... (6 keypoints for each face)
    Detection #1:
      BoundingBox:
        origin_x: 616
        origin_y: 193
        width: 430
        height: 430
      Categories:
        Category #0:
          index: 0
          score: 0.9251380562782288
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.6151331663131714
          y: 0.3713381886482239
        NormalizedKeypoint #1:
          x: 0.7460576295852661
          y: 0.38825345039367676
        ... (6 keypoints for each face)

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Đối với hình ảnh không có hộp giới hạn, hãy xem hình ảnh gốc.

Mã ví dụ về Trình phát hiện khuôn mặt minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem OverlayView để biết thêm chi tiết.