Nhiệm vụ MediaPipe Face Editioner cho phép bạn phát hiện các điểm mốc khuôn mặt và biểu cảm khuôn mặt trong hình ảnh và video. Bạn có thể sử dụng nhiệm vụ này để xác định biểu cảm khuôn mặt của người, áp dụng bộ lọc và hiệu ứng khuôn mặt cũng như tạo hình đại diện ảo. Nhiệm vụ này sử dụng các mô hình học máy (ML) có thể hoạt động với một hình ảnh đơn lẻ hoặc một luồng hình ảnh liên tục. Nhiệm vụ này sẽ tạo ra các điểm mốc 3 chiều trên khuôn mặt, điểm kết hợp hình dạng (hệ số biểu thị biểu cảm khuôn mặt) để suy ra bề mặt khuôn mặt chi tiết theo thời gian thực và ma trận biến đổi để thực hiện các phép biến đổi cần thiết cho việc kết xuất hiệu ứng.
Bắt đầu
Hãy bắt đầu sử dụng tác vụ này bằng cách làm theo một trong các hướng dẫn triển khai cho nền tảng mục tiêu của bạn. Các hướng dẫn dành riêng cho nền tảng này sẽ hướng dẫn bạn cách triển khai cơ bản của tác vụ này, bao gồm cả mô hình được đề xuất và mã ví dụ với các lựa chọn cấu hình được đề xuất:
- Android – Ví dụ về mã – Hướng dẫn
- Python – Ví dụ về mã – Hướng dẫn
- Web – Ví dụ về mã – Hướng dẫn
Thông tin chi tiết về việc cần làm
Phần này mô tả các tính năng, dữ liệu đầu vào, đầu ra và tuỳ chọn cấu hình của tác vụ này.
Tính năng
- Xử lý hình ảnh đầu vào – Xử lý bao gồm việc xoay hình ảnh, đổi kích thước, chuẩn hoá và chuyển đổi không gian màu.
- Ngưỡng điểm số – Lọc kết quả dựa trên điểm dự đoán.
| Dữ liệu đầu vào của việc cần làm | Kết quả đầu ra của nhiệm vụ |
|---|---|
Khuôn mặt nổi bật chấp nhận dữ liệu đầu vào của một trong các loại dữ liệu sau:
|
Khuôn mặt nổi bật đưa ra các kết quả sau:
|
Lựa chọn về cấu hình
Tác vụ này có các chế độ cấu hình sau:
| Tên lựa chọn | Nội dung mô tả | Khoảng giá trị | Giá trị mặc định |
|---|---|---|---|
running_mode |
Đặt chế độ chạy cho tác vụ. Có 3 chế độ: IMAGE: Chế độ nhập một hình ảnh. VIDEO: Chế độ khung hình đã giải mã của video. LIVE_STREAM: Chế độ phát trực tiếp dữ liệu đầu vào, chẳng hạn như từ máy quay. Ở chế độ này, bạn phải gọi resultsListener để thiết lập trình nghe nhằm nhận kết quả không đồng bộ. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
FaceLandmarker có thể phát hiện số lượng khuôn mặt tối đa. Tính năng làm mượt chỉ được áp dụng khi đặt num_faces thành 1.
|
Integer > 0 |
1 |
min_face_detection_confidence |
Điểm số tin cậy tối thiểu để phát hiện khuôn mặt được coi là thành công. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
Điểm số tin cậy tối thiểu về sự hiện diện khuôn mặt trong công cụ phát hiện mốc khuôn mặt. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Điểm số tin cậy tối thiểu để theo dõi khuôn mặt được coi là thành công. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
Liệu Face Addresser có tạo ra các hình dạng khuôn mặt pha trộn hay không. Hình dạng khuôn mặt được dùng để kết xuất mô hình khuôn mặt 3D. | Boolean |
False |
output_facial_transformation_matrixes |
Liệu FaceLandmarker có xuất ra ma trận biến đổi khuôn mặt hay không. FaceLandmarker dùng ma trận để chuyển đổi các điểm mốc trên khuôn mặt từ mẫu khuôn mặt chính tắc sang khuôn mặt được phát hiện, nhờ đó, người dùng có thể áp dụng hiệu ứng cho các điểm mốc được phát hiện. | Boolean |
False |
result_callback |
Đặt trình nghe kết quả để nhận kết quả mốc không đồng bộ khi FaceLandmarker ở chế độ phát trực tiếp.
Chỉ có thể sử dụng khi bạn đặt chế độ chạy thành LIVE_STREAM |
ResultListener |
N/A |
Mô hình
Face Marker sử dụng một loạt mô hình để dự đoán các điểm mốc trên khuôn mặt. Mô hình đầu tiên phát hiện khuôn mặt, mô hình thứ hai xác định điểm mốc trên các khuôn mặt được phát hiện, còn mô hình thứ ba sử dụng các mốc đó để xác định các đặc điểm và biểu hiện khuôn mặt.
Các mô hình sau đây được đóng gói cùng nhau thành một gói mô hình có thể tải xuống:
- Mô hình phát hiện khuôn mặt: phát hiện sự hiện diện của khuôn mặt thông qua một số dấu hiệu quan trọng trên khuôn mặt.
- Mô hình lưới khuôn mặt: thêm bản đồ ánh xạ khuôn mặt hoàn chỉnh. Mô hình này đưa ra ước tính 478 điểm mốc khuôn mặt 3 chiều.
- Mô hình dự đoán hình dạng kết hợp: nhận kết quả từ mô hình lưới khuôn mặt dự đoán 52 điểm hình dạng, là các hệ số biểu thị các biểu cảm khác nhau trên khuôn mặt.
Mô hình phát hiện khuôn mặt là mô hình phạm vi tầm ngắn BlazeFace, một trình phát hiện khuôn mặt nhẹ và chính xác, được tối ưu hoá cho khả năng dự đoán GPU trên thiết bị di động. Để biết thêm thông tin, hãy xem nhiệm vụ Trình phát hiện khuôn mặt.
Hình ảnh bên dưới cho thấy bản đồ ánh xạ đầy đủ các điểm mốc trên khuôn mặt từ kết quả gói mô hình.
Để có chế độ xem chi tiết hơn về các mốc trên khuôn mặt, hãy xem hình ảnh có kích thước đầy đủ.
| Gói mô hình | Hình dạng dữ liệu đầu vào | Loại dữ liệu | Thẻ mô hình | Phiên bản |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 x 192 FaceMesh-V2: 256 x 256 Blendshape: 1 x 146 x 2 |
số thực 16 |
FaceDetector FaceMesh-V2 Blendshape |
Mới nhất |