Tác vụ Trình phát hiện khuôn mặt MediaPipe cho phép bạn phát hiện khuôn mặt trong hình ảnh hoặc video. Bạn có thể dùng tác vụ này để xác định vị trí của khuôn mặt và các đặc điểm trên khuôn mặt trong một khung hình. Nhiệm vụ này sử dụng mô hình học máy (ML) hoạt động với các hình ảnh đơn lẻ hoặc một luồng hình ảnh liên tục. Nhiệm vụ sẽ xuất ra vị trí khuôn mặt, cùng với các điểm chính trên khuôn mặt sau: mắt trái, mắt phải, đầu mũi, miệng, tổn thương mắt trái và tổn thương mắt phải.
Mã mẫu được mô tả trong những hướng dẫn này hiện có trên GitHub. Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.
Ví dụ về mã
Mã mẫu cho Trình phát hiện khuôn mặt cung cấp cách triển khai đầy đủ tác vụ này trong Python để bạn tham khảo. Mã này giúp bạn kiểm thử nhiệm vụ này và bắt đầu tạo trình phát hiện khuôn mặt của riêng mình. Bạn có thể xem, chạy và chỉnh sửa mã ví dụ về Trình phát hiện khuôn mặt chỉ bằng trình duyệt web.
Nếu bạn đang triển khai Trình phát hiện khuôn mặt cho Rassberry Pi, hãy tham khảo ứng dụng ví dụ về Rspberry Pi.
Thiết lập
Phần này mô tả các bước chính để thiết lập môi trường phát triển và các dự án mã dành riêng cho việc sử dụng Trình phát hiện khuôn mặt. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ của MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.
Gói
Tác vụ Trình phát hiện khuôn mặt MediaPipe cần có gói Mediapipe PyPI. Bạn có thể cài đặt và nhập các phần phụ thuộc này bằng các thành phần sau:
$ python -m pip install mediapipe
Nhập
Nhập các lớp sau để truy cập vào các chức năng tác vụ của Trình phát hiện khuôn mặt:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Mẫu
Tác vụ Trình phát hiện khuôn mặt MediaPipe cần có một mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình được huấn luyện hiện có cho Công cụ phát hiện khuôn mặt, hãy xem phần Mô hình tổng quan về tác vụ.
Chọn và tải mô hình xuống rồi lưu trữ trong thư mục cục bộ:
model_path = '/absolute/path/to/face_detector.task'
Sử dụng tham số model_asset_path
của đối tượng BaseOptions
để chỉ định đường dẫn của mô hình sẽ sử dụng. Để biết ví dụ về mã, hãy xem phần tiếp theo.
Tạo việc cần làm
Tác vụ của Trình phát hiện khuôn mặt MediaPipe sử dụng hàm create_from_options
để thiết lập tác vụ đó. Hàm create_from_options
chấp nhận các giá trị cho các tuỳ chọn cấu hình cần xử lý. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Lựa chọn cấu hình.
Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.
Những mẫu này cũng cho thấy các biến thể của quá trình tạo tác vụ cho hình ảnh, tệp video và sự kiện phát trực tiếp.
Bài đăng có hình ảnh
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions FaceDetector = mp.tasks.vision.FaceDetector FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a face detector instance with the image mode: options = FaceDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.IMAGE) with FaceDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Video
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions FaceDetector = mp.tasks.vision.FaceDetector FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a face detector instance with the video mode: options = FaceDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.VIDEO) with FaceDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Sự kiện trực tiếp
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions FaceDetector = mp.tasks.vision.FaceDetector FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions FaceDetectorResult = mp.tasks.vision.FaceDetectorResult VisionRunningMode = mp.tasks.vision.RunningMode # Create a face detector instance with the live stream mode: def print_result(result: FaceDetectorResult, output_image: mp.Image, timestamp_ms: int): print('face detector result: {}'.format(result)) options = FaceDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.LIVE_STREAM, result_callback=print_result) with FaceDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Để biết ví dụ đầy đủ về cách tạo Trình phát hiện khuôn mặt để sử dụng với hình ảnh, hãy xem mã ví dụ.
Các lựa chọn về cấu hình
Tác vụ này có các lựa chọn cấu hình sau đây cho các ứng dụng Python:
Tên lựa chọn | Nội dung mô tả | Khoảng giá trị | Giá trị mặc định |
---|---|---|---|
running_mode |
Đặt chế độ chạy cho tác vụ. Có 3 chế độ: IMAGE: Chế độ nhập một hình ảnh. VIDEO: Chế độ khung hình đã giải mã của video. LIVE_STREAM: Chế độ phát trực tiếp dữ liệu đầu vào, chẳng hạn như từ máy quay. Ở chế độ này, bạn phải gọi resultsListener để thiết lập trình nghe nhằm nhận kết quả không đồng bộ. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
min_detection_confidence |
Điểm số tin cậy tối thiểu để phát hiện khuôn mặt được xem là thành công. | Float [0,1] |
0.5 |
min_suppression_threshold |
Ngưỡng tối thiểu không áp dụng biện pháp tối đa để phát hiện khuôn mặt được coi là trùng lặp. | Float [0,1] |
0.3 |
result_callback |
Thiết lập trình nghe kết quả để nhận kết quả phát hiện một cách không đồng bộ khi Trình phát hiện khuôn mặt đang ở chế độ phát trực tiếp. Chỉ có thể sử dụng khi chế độ chạy được đặt thành LIVE_STREAM . |
N/A |
Not set |
Chuẩn bị dữ liệu
Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi dữ liệu đó thành đối tượng mediapipe.Image
. Nếu dữ liệu đầu vào là tệp video hoặc sự kiện phát trực tiếp từ webcam, bạn có thể sử dụng một thư viện bên ngoài, chẳng hạn như OpenCV để tải khung hình đầu vào dưới dạng các mảng numpy.
Bài đăng có hình ảnh
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Video
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Sự kiện trực tiếp
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Chạy tác vụ
Trình phát hiện khuôn mặt sử dụng các hàm detect
, detect_for_video
và detect_async
để kích hoạt thông tin dự đoán. Đối với tính năng phát hiện khuôn mặt, quy trình này liên quan đến việc xử lý trước dữ liệu đầu vào và phát hiện các khuôn mặt trong hình ảnh.
Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.
Bài đăng có hình ảnh
# Perform face detection on the provided single image. # The face detector must be created with the image mode. face_detector_result = detector.detect(mp_image)
Video
# Perform face detection on the provided single image. # The face detector must be created with the video mode. face_detector_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
Sự kiện trực tiếp
# Send live image data to perform face detection. # The results are accessible via the `result_callback` provided in # the `FaceDetectorOptions` object. # The face detector must be created with the live stream mode. detector.detect_async(mp_image, frame_timestamp_ms)
Xin lưu ý những điều sau:
- Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, hãy cung cấp cho tác vụ của Trình phát hiện khuôn mặt dấu thời gian của khung hình nhập.
- Khi chạy trong hình ảnh hoặc mô hình video, tác vụ của Trình phát hiện khuôn mặt sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung hình đầu vào.
- Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phát hiện khuôn mặt sẽ trả về ngay lập tức và không chặn luồng hiện tại. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào. Nếu hàm phát hiện được gọi khi tác vụ Trình phát hiện khuôn mặt đang bận xử lý một khung khác, thì tác vụ đó sẽ bỏ qua khung đầu vào mới.
Để biết ví dụ đầy đủ về cách chạy Trình phát hiện khuôn mặt trên một hình ảnh, hãy xem ví dụ về mã để biết thông tin chi tiết.
Xử lý và hiển thị kết quả
Trình phát hiện khuôn mặt sẽ trả về một đối tượng FaceDetectorResult
trong mỗi lần chạy tính năng phát hiện. Đối tượng kết quả chứa các hộp giới hạn cho các khuôn mặt đã phát hiện và điểm số tin cậy cho từng khuôn mặt được phát hiện.
Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:
FaceDetectionResult:
Detections:
Detection #0:
BoundingBox:
origin_x: 126
origin_y: 100
width: 463
height: 463
Categories:
Category #0:
index: 0
score: 0.9729152917861938
NormalizedKeypoints:
NormalizedKeypoint #0:
x: 0.18298381567001343
y: 0.2961040139198303
NormalizedKeypoint #1:
x: 0.3302789330482483
y: 0.29289937019348145
... (6 keypoints for each face)
Detection #1:
BoundingBox:
origin_x: 616
origin_y: 193
width: 430
height: 430
Categories:
Category #0:
index: 0
score: 0.9251380562782288
NormalizedKeypoints:
NormalizedKeypoint #0:
x: 0.6151331663131714
y: 0.3713381886482239
NormalizedKeypoint #1:
x: 0.7460576295852661
y: 0.38825345039367676
... (6 keypoints for each face)
Hình ảnh sau đây minh hoạ kết quả của tác vụ:
Đối với hình ảnh không có giới hạn hộp, hãy xem hình ảnh gốc.
Mã ví dụ về Trình phát hiện khuôn mặt minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem mã ví dụ để biết thông tin chi tiết.