Hướng dẫn phát hiện mốc khuôn mặt cho Python

Nhiệm vụ của Trình tạo điểm ảnh khuôn mặt MediaPipe cho phép bạn phát hiện các điểm mốc trên khuôn mặt và biểu cảm khuôn mặt trong hình ảnh và video. Bạn có thể dùng nhiệm vụ này để xác định biểu cảm khuôn mặt của con người rồi áp dụng các bộ lọc và hiệu ứng khuôn mặt để tạo hình đại diện ảo. Nhiệm vụ này sử dụng các mô hình học máy (ML) có thể hoạt động với các hình ảnh đơn lẻ hoặc luồng hình ảnh. Tác vụ này sẽ đưa ra các điểm mốc khuôn mặt 3 chiều, hình dạng kết hợp điểm số (hệ số thể hiện biểu cảm khuôn mặt) để suy luận chi tiết về khuôn mặt bề mặt theo thời gian thực và ma trận biến đổi để thực hiện cần biến đổi để kết xuất hiệu ứng.

Mã mẫu được mô tả trong các hướng dẫn này có trên GitHub. Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Mã mẫu dành cho tính năng Điểm mốc khuôn mặt cung cấp cách triển khai hoàn chỉnh tính năng này công việc bằng Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và bắt đầu bằng việc tạo điểm đánh dấu khuôn mặt của chính bạn. Bạn có thể xem, chạy và chỉnh sửa Ví dụ về tính năng Xác định khuôn mặt mã chỉ bằng trình duyệt web.

Nếu bạn đang triển khai tính năng Xác định khuôn mặt cho Raspberry Pi, hãy tham khảo Ví dụ về Raspberry Pi ứng dụng.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình các dự án dành riêng cho việc sử dụng Face vui nhộn. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ Trình xác định khuôn mặt MediaPipe cần có gói PyPI mediapipe. Bạn có thể cài đặt và nhập các phần phụ thuộc này bằng đoạn mã sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các chức năng tác vụ của Trình xác định khuôn mặt:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Nhiệm vụ Trình xác định khuôn mặt MediaPipe cần có một mô hình đã qua đào tạo tương thích với tính năng này công việc. Để biết thêm thông tin về các mô hình đã qua đào tạo dùng được cho tính năng Đánh dấu khuôn mặt, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong một thư mục trên máy:

model_path = '/absolute/path/to/face_landmarker.task'

Sử dụng tham số model_asset_path của đối tượng BaseOptions để chỉ định đường dẫn của mô hình cần sử dụng. Để xem ví dụ về mã, hãy xem phần tiếp theo.

Tạo việc cần làm

Tác vụ Trình xác định khuôn mặt MediaPipe sử dụng hàm create_from_options để thiết lập công việc. Hàm create_from_options chấp nhận các giá trị cho cấu hình để xử lý. Để biết thêm thông tin về các chế độ cấu hình, hãy xem Tuỳ chọn cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.

Những mẫu này cũng cho thấy các biến thể của quá trình tạo tác vụ đối với hình ảnh, tệp video và phát trực tiếp.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.IMAGE)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face landmarker instance with the video mode:
options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.VIDEO)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
FaceLandmarkerResult = mp.tasks.vision.FaceLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face landmarker instance with the live stream mode:
def print_result(result: FaceLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('face landmarker result: {}'.format(result))

options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Để xem ví dụ đầy đủ về cách tạo Điểm đánh dấu khuôn mặt để sử dụng với hình ảnh, hãy xem mã ví dụ.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi tệp đó thành Đối tượng mediapipe.Image. Nếu dữ liệu đầu vào của bạn là tệp video hoặc chương trình phát trực tiếp từ webcam, bạn có thể sử dụng thư viện bên ngoài như OpenCV để tải các khung đầu vào của bạn dưới dạng numpy mảng.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Tính năng Xác định khuôn mặt sử dụng detect, detect_for_video và detect_async để kích hoạt suy luận. Đối với việc tạo mốc khuôn mặt, quá trình này bao gồm xử lý trước dữ liệu đầu vào và phát hiện khuôn mặt trong hình ảnh.

Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng tác vụ mô hình.

# Perform face landmarking on the provided single image.
# The face landmarker must be created with the image mode.
face_landmarker_result = landmarker.detect(mp_image)
    

# Perform face landmarking on the provided single image.
# The face landmarker must be created with the video mode.
face_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform face landmarking.
# The results are accessible via the `result_callback` provided in
# the `FaceLandmarkerOptions` object.
# The face landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, hãy cung cấp Tác vụ của Trình xác định khuôn mặt – dấu thời gian của khung nhập dữ liệu.
• Khi chạy trong hình ảnh hoặc mẫu video, tác vụ của Trình xác định khuôn mặt sẽ bị chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình xác định khuôn mặt sẽ trả về ngay lập tức và không chặn luồng hiện tại. Phương thức này sẽ gọi ra kết quả với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào. Nếu chức năng phát hiện được gọi khi thực hiện nhiệm vụ Trình xác định khuôn mặt đang bận xử lý một khung khác, tác vụ sẽ bỏ qua khung nhập mới.

Để biết ví dụ đầy đủ về cách chạy Trình xác định khuôn mặt trên một hình ảnh, hãy xem mã ví dụ để biết thông tin chi tiết.

Xử lý và hiện kết quả

Trình xác định khuôn mặt trả về một đối tượng FaceLandmarkerResult cho mỗi lần phát hiện chạy. Đối tượng kết quả chứa một lưới khuôn mặt cho mỗi khuôn mặt được phát hiện, với toạ độ cho từng mốc khuôn mặt. Đối tượng kết quả cũng có thể tuỳ ý chứa các hình dạng hỗn hợp, biểu thị biểu cảm khuôn mặt và hình ảnh ma trận biến đổi để áp dụng hiệu ứng khuôn mặt cho các địa danh được phát hiện.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

Hình ảnh sau đây minh hoạ kết quả của tác vụ:

Mã ví dụ của Trình xác định khuôn mặt minh hoạ cách hiển thị kết quả được trả về từ tác vụ, hãy xem mã ví dụ để biết thông tin chi tiết.