Hướng dẫn phát hiện mốc khuôn mặt cho Android

Nhiệm vụ MediaPipe Face Editioner cho phép bạn phát hiện các điểm mốc khuôn mặt và biểu cảm khuôn mặt trong hình ảnh và video. Bạn có thể sử dụng nhiệm vụ này để xác định biểu cảm khuôn mặt của người, áp dụng bộ lọc và hiệu ứng khuôn mặt cũng như tạo hình đại diện ảo. Nhiệm vụ này sử dụng các mô hình học máy (ML) có thể hoạt động với một hình ảnh đơn lẻ hoặc một luồng hình ảnh liên tục. Nhiệm vụ này sẽ tạo ra các điểm mốc 3 chiều trên khuôn mặt, điểm kết hợp hình dạng (hệ số biểu thị biểu cảm khuôn mặt) để suy ra bề mặt khuôn mặt chi tiết theo thời gian thực và ma trận biến đổi để thực hiện các phép biến đổi cần thiết cho việc kết xuất hiệu ứng.

Mã mẫu được mô tả trong những hướng dẫn này hiện có trên GitHub. Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ về MediaPipe Tasks là một cách triển khai đơn giản của ứng dụng Face Addresser dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để phát hiện các khuôn mặt trong một luồng video liên tục. Ứng dụng cũng có thể phát hiện khuôn mặt trong hình ảnh và video từ thư viện của thiết bị.

Bạn có thể dùng ứng dụng này làm điểm xuất phát cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng này khi sửa đổi một ứng dụng hiện có. Mã ví dụ về Face Marker được lưu trữ trên GitHub.

Tải mã xuống

Hướng dẫn sau đây chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể tuỳ ý định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn chỉ có các tệp cho ứng dụng ví dụ về Khuôn mặt:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_landmarker/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để được hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau chứa mã quan trọng cho ứng dụng mẫu tạo mốc cho khuôn mặt này:

• FaceLandmarkerHelper.kt – Khởi chạy điểm mốc khuôn mặt và xử lý lựa chọn mô hình và uỷ quyền.
• CameraFragment.kt – Xử lý máy ảnh của thiết bị, đồng thời xử lý dữ liệu đầu vào hình ảnh và video.
• GalleryFragment.kt – Tương tác với OverlayView để hiển thị video hoặc hình ảnh đầu ra.
• OverlayView.kt – Triển khai màn hình bằng lưới khuôn mặt cho các khuôn mặt được phát hiện.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và viết mã cho các dự án dành riêng cho việc sử dụng Face Marker. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ MediaPipe, bao gồm cả yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.

Phần phụ thuộc

Tác vụ có Điểm mốc khuôn mặt sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ MediaPipe Khuôn mặt cần có gói mô hình đã qua huấn luyện và tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã qua huấn luyện hiện có cho Face Marker, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ trong thư mục dự án của bạn:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định trong tệp FaceLandmarkerHelper.kt:

baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)

Tạo việc cần làm

Tác vụ có tên MediaPipe Face Editioner sử dụng hàm createFromOptions() để thiết lập tác vụ đó. Hàm createFromOptions() chấp nhận các giá trị cho các tuỳ chọn cấu hình. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Lựa chọn cấu hình.

Face Marker hỗ trợ các loại dữ liệu đầu vào sau đây: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn cần chỉ định chế độ chạy tương ứng với loại dữ liệu đầu vào khi tạo tác vụ. Chọn thẻ cho loại dữ liệu đầu vào của bạn để xem cách tạo tác vụ và chạy dự đoán.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

Việc triển khai mã ví dụ về Khuôn mặt nổi bật cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong hàm setupFaceLandmarker() ở tệp FaceLandmarkerHelper.kt.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Face Addresser hoạt động với hình ảnh, tệp video và luồng video trực tiếp. Tác vụ này sẽ xử lý trước bước xử lý dữ liệu đầu vào, bao gồm cả việc đổi kích thước, xoay và chuẩn hoá giá trị.

Mã sau đây minh hoạ cách chuyển giao dữ liệu cho việc xử lý. Các mẫu này bao gồm thông tin chi tiết về cách xử lý dữ liệu từ hình ảnh, tệp video và luồng video trực tiếp.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Trong mã ví dụ về Khuôn mặt nổi bật, việc chuẩn bị dữ liệu được xử lý trong tệp FaceLandmarkerHelper.kt.

Chạy tác vụ

Tuỳ thuộc vào loại dữ liệu bạn đang xử lý, hãy sử dụng phương thức FaceLandmarker.detect...() dành riêng cho loại dữ liệu đó. Sử dụng detect() cho từng hình ảnh, detectForVideo() cho khung hình trong tệp video và detectAsync() cho luồng video. Khi bạn đang thực hiện phát hiện trên một luồng video, hãy đảm bảo bạn chạy các quy trình phát hiện trên một luồng riêng để tránh chặn luồng giao diện người dùng.

Các mã mẫu sau đây cho thấy các ví dụ đơn giản về cách chạy Face Marker ở nhiều chế độ dữ liệu sau đây:

val result = FaceLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

FaceLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

FaceLandmarker.detectAsync(mpImage, frameTime)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn phải cung cấp dấu thời gian của khung nhập dữ liệu cho tác vụ Trình đánh dấu khuôn mặt.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ của Trình đánh dấu khuôn mặt sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào. Để tránh việc chặn giao diện người dùng, hãy thực thi quá trình xử lý trong luồng ở chế độ nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Face Marker sẽ trả về ngay lập tức và không chặn luồng hiện tại. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào.

Trong mã ví dụ về Khuôn mặt nổi bật, các hàm detect, detectForVideo và detectAsync được xác định trong tệp FaceLandmarkerHelper.kt.

Xử lý và hiển thị kết quả

Face View (Điểm mốc khuôn mặt) trả về một đối tượng FaceLandmarkerResult trong mỗi lần chạy phát hiện. Đối tượng kết quả chứa một lưới khuôn mặt cho mỗi khuôn mặt đã phát hiện, với toạ độ cho từng mốc khuôn mặt. Nếu muốn, đối tượng kết quả cũng có thể chứa các hình dạng kết hợp (biểu thị biểu cảm khuôn mặt) và ma trận biến đổi khuôn mặt để áp dụng hiệu ứng khuôn mặt trên các điểm mốc đã phát hiện.

Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ về Khuôn mặt minh hoạ cách hiển thị kết quả được trả về từ tác vụ. Vui lòng xem lớp OverlayView để biết thêm thông tin chi tiết.