Hướng dẫn phát hiện mốc khuôn mặt cho Android

Nhiệm vụ của Trình tạo điểm ảnh khuôn mặt MediaPipe cho phép bạn phát hiện các điểm mốc trên khuôn mặt và biểu cảm khuôn mặt trong hình ảnh và video. Bạn có thể sử dụng nhiệm vụ này để xác định biểu cảm khuôn mặt của con người, áp dụng các bộ lọc và hiệu ứng khuôn mặt để tạo hình đại diện ảo. Nhiệm vụ này sử dụng các mô hình học máy (ML) có thể hoạt động với các hình ảnh đơn lẻ hoặc luồng hình ảnh. Tác vụ này sẽ đưa ra các điểm mốc khuôn mặt 3 chiều, hình dạng kết hợp điểm số (hệ số thể hiện biểu cảm khuôn mặt) để suy luận chi tiết về khuôn mặt bề mặt theo thời gian thực và ma trận biến đổi để thực hiện cần biến đổi để kết xuất hiệu ứng.

Mã mẫu được mô tả trong các hướng dẫn này có trên GitHub. Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ MediaPipe Tasks là một cách triển khai đơn giản của tính năng Xác định khuôn mặt dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để nhận diện khuôn mặt trong luồng video liên tục. Ứng dụng này cũng có thể phát hiện các khuôn mặt trong hình ảnh và video từ thư viện trên thiết bị.

Bạn có thể sử dụng ứng dụng này làm điểm khởi đầu cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng đó khi sửa đổi ứng dụng hiện có. Mã ví dụ về tính năng Điểm mốc khuôn mặt được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn có chỉ các tệp cho ứng dụng mẫu của Trình xác định khuôn mặt:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_landmarker/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho ví dụ về việc tạo mốc cho khuôn mặt ứng dụng:

• FaceLandmarkerHelper.kt – Khởi chạy trình đánh dấu khuôn mặt, đồng thời xử lý mô hình và uỷ quyền lựa chọn.
• CameraFragment.kt – Xử lý máy ảnh của thiết bị, đồng thời xử lý dữ liệu đầu vào hình ảnh và video.
• GalleryFragment.kt – Tương tác với OverlayView để hiển thị video hoặc hình ảnh đầu ra.
• OverlayView.kt – Triển khai màn hình bằng lưới khuôn mặt cho các khuôn mặt được phát hiện.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình các dự án dành riêng cho việc sử dụng Face vui nhộn. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Nhiệm vụ của Trình xác định khuôn mặt sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Nhiệm vụ Trình xác định khuôn mặt MediaPipe cần có một gói mô hình đã huấn luyện và tương thích với nhiệm vụ này. Để biết thêm thông tin về các mô hình đã qua đào tạo dành cho tính năng Đánh dấu khuôn mặt, hãy xem phần Mô hình để xem tổng quan về nhiệm vụ.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định trong FaceLandmarkerHelper.kt tệp:

baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)

Tạo việc cần làm

Tác vụ Trình xác định khuôn mặt MediaPipe sử dụng hàm createFromOptions() để thiết lập công việc. Hàm createFromOptions() chấp nhận các giá trị cho cấu hình . Để biết thêm thông tin về các chế độ cấu hình, hãy xem phần Cấu hình .

Tính năng Điểm mốc khuôn mặt hỗ trợ các loại dữ liệu đầu vào sau: ảnh tĩnh, video tệp và luồng video trực tiếp. Bạn cần chỉ định chế độ đang chạy tương ứng với loại dữ liệu đầu vào của bạn khi tạo công việc. Chọn thẻ cho loại dữ liệu đầu vào của bạn để xem cách tạo tác vụ và chạy suy luận.

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

Cách triển khai mã mẫu cho tính năng Điểm mốc khuôn mặt cho phép người dùng chuyển đổi giữa chế độ xử lý. Phương pháp này làm cho mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong Hàm setupFaceLandmarker() trong FaceLandmarkerHelper.kt .

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Tính năng Điểm mốc khuôn mặt hoạt động với hình ảnh, tệp video và luồng video trực tiếp. Việc cần làm xử lý tiền xử lý đầu vào dữ liệu, bao gồm đổi kích thước, xoay và giá trị chuẩn hoá dữ liệu.

Mã sau đây minh hoạ cách chuyển giao dữ liệu để xử lý. Các mẫu bao gồm thông tin chi tiết về cách xử lý dữ liệu từ hình ảnh, tệp video và lượt phát video trực tuyến.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

Trong mã ví dụ về Trình xác định khuôn mặt, việc chuẩn bị dữ liệu được xử lý trong FaceLandmarkerHelper.kt .

Chạy tác vụ

Tùy thuộc vào loại dữ liệu bạn đang xử lý, hãy sử dụng FaceLandmarker.detect...() dành riêng cho loại dữ liệu đó. Sử dụng detect() cho từng hình ảnh, detectForVideo() cho khung hình trong tệp video, và detectAsync() đối với luồng video. Khi bạn phát hiện một luồng video, hãy đảm bảo bạn chạy các phát hiện trên một chuỗi riêng để tránh chặn luồng giao diện người dùng.

Các mã mẫu sau đây là ví dụ đơn giản về cách chạy tính năng Xác định khuôn mặt ở các chế độ dữ liệu sau:

val result = FaceLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

FaceLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

FaceLandmarker.detectAsync(mpImage, frameTime)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn phải cung cấp dấu thời gian của khung nhập dữ liệu cho tác vụ của tính năng Xác định khuôn mặt.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ của Trình xác định khuôn mặt sẽ bị chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào. Người nhận tránh chặn giao diện người dùng, hãy thực thi quá trình xử lý ở chế độ nền chuỗi.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình xác định khuôn mặt sẽ trả về ngay lập tức và không chặn luồng hiện tại. Phương thức này sẽ gọi ra kết quả với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào.

Trong mã ví dụ của Trình xác định khuôn mặt, detect, detectForVideo và Hàm detectAsync được định nghĩa trong FaceLandmarkerHelper.kt .

Xử lý và hiện kết quả

Trình xác định khuôn mặt trả về một đối tượng FaceLandmarkerResult cho mỗi lần phát hiện chạy. Đối tượng kết quả chứa một lưới khuôn mặt cho mỗi khuôn mặt được phát hiện, với toạ độ cho từng mốc khuôn mặt. Đối tượng kết quả cũng có thể tuỳ ý chứa các hình dạng hỗn hợp, biểu thị biểu cảm khuôn mặt và hình ảnh ma trận biến đổi để áp dụng hiệu ứng khuôn mặt cho các địa danh được phát hiện.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ của Trình xác định khuôn mặt minh hoạ cách hiển thị kết quả được trả về từ công việc, hãy xem OverlayView để biết thêm chi tiết.