คู่มือการตรวจจับจุดสังเกตสำหรับใบหน้าสำหรับ Python

งานเครื่องมือจุดสังเกตใบหน้าของ MediaPipe ช่วยให้คุณสามารถตรวจจับจุดสังเกตของใบหน้าและการแสดงความรู้สึกทางสีหน้าใน รูปภาพและวิดีโอ คุณสามารถใช้งานนี้เพื่อระบุการแสดงออกทางสีหน้าของมนุษย์ รวมถึงใส่ฟิลเตอร์และเอฟเฟกต์ใบหน้าเพื่อสร้างรูปโปรไฟล์เสมือนจริง งานนี้ใช้ โมเดลแมชชีนเลิร์นนิง (ML) ที่สามารถทำงานกับรูปภาพเดียวหรือภาพต่อเนื่อง รูปภาพ งานจะแสดงจุดสังเกตของใบหน้า 3 มิติ ผสมผสานรูปร่าง คะแนน (ค่าสัมประสิทธิ์ที่แสดงการแสดงออกทางสีหน้า) เพื่ออนุมานรายละเอียดเกี่ยวกับใบหน้า พื้นผิวแบบเรียลไทม์ และเมทริกซ์การแปลงเพื่อประมวลผล การเปลี่ยนรูปแบบที่จําเป็นสําหรับการแสดงผลเอฟเฟกต์

ตัวอย่างโค้ดที่อธิบายไว้ในวิธีการเหล่านี้มีอยู่ใน GitHub สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความสามารถ โมเดล และตัวเลือกการกำหนดค่า ของงานนี้ โปรดดูภาพรวม

ตัวอย่างโค้ด

โค้ดตัวอย่างสำหรับเครื่องมือเน้นใบหน้าที่มีการติดตั้งใช้งานอย่างสมบูรณ์ ใน Python เพื่อใช้เป็นข้อมูลอ้างอิง โค้ดนี้จะช่วยคุณทดสอบงานนี้และรับ เริ่มสร้างจุดสังเกตใบหน้าของคุณเอง คุณสามารถดู เรียกใช้ และแก้ไข ตัวอย่างเครื่องมือจุดสังเกตใบหน้า โค้ด โดยใช้แค่เว็บเบราว์เซอร์

ถ้าคุณใช้เครื่องมือจุดสังเกตใบหน้าสำหรับ Raspberry Pi โปรดดูที่ ตัวอย่างของ Raspberry Pi แอป

ตั้งค่า

ส่วนนี้จะอธิบายขั้นตอนสำคัญในการตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ และ เป็นโปรเจ็กต์โค้ดสำหรับใช้จุดสังเกตของใบหน้าโดยเฉพาะ สำหรับข้อมูลทั่วไปเกี่ยวกับ การตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ของคุณสำหรับการใช้งาน MediaPipe ซึ่งรวมถึง ข้อกำหนดด้านเวอร์ชันของแพลตฟอร์ม โปรดดูคู่มือการตั้งค่าสำหรับ Python

แพ็กเกจ

งานเครื่องมือจุดสังเกตใบหน้าของ MediaPipe ต้องการแพ็กเกจ PyPI ของ Mediapipe คุณสามารถติดตั้งและ นำเข้าการอ้างอิงเหล่านี้ด้วยข้อมูลต่อไปนี้

$ python -m pip install mediapipe

การนำเข้า

นำเข้าชั้นเรียนต่อไปนี้เพื่อเข้าถึงฟังก์ชันงานของเครื่องมือทำเครื่องหมายใบหน้า

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

รุ่น

งานเครื่องมือจุดสังเกตใบหน้าของ MediaPipe ต้องการโมเดลที่ผ่านการฝึก ซึ่งสามารถใช้ร่วมกับ งาน สำหรับข้อมูลเพิ่มเติมเกี่ยวกับโมเดลที่ผ่านการฝึกและพร้อมใช้งานในเครื่องมือจุดสังเกตใบหน้า โปรดดูที่ ภาพรวมงานส่วนโมเดล

เลือกและดาวน์โหลดโมเดล จากนั้นเก็บโมเดลไว้ในไดเรกทอรีในเครื่อง:

model_path = '/absolute/path/to/face_landmarker.task'

ใช้พารามิเตอร์ BaseOptions ออบเจ็กต์ model_asset_path เพื่อระบุเส้นทางของ โมเดลที่จะใช้ ดูตัวอย่างโค้ดได้ในส่วนถัดไป

สร้างงาน

งานเครื่องมือจุดสังเกตใบหน้าของ MediaPipe ใช้ฟังก์ชัน create_from_options เพื่อตั้งค่า งาน ฟังก์ชัน create_from_options ยอมรับค่าสำหรับการกำหนดค่า ตัวเลือกที่ต้องจัดการ ดูข้อมูลเพิ่มเติมเกี่ยวกับตัวเลือกการกําหนดค่าได้ที่ ตัวเลือกการกำหนดค่า

โค้ดต่อไปนี้แสดงวิธีสร้างและกำหนดค่างานนี้

ตัวอย่างเหล่านี้ยังแสดงรูปแบบของการสร้างงานสำหรับรูปภาพต่างๆ ด้วย ไฟล์วิดีโอและสตรีมแบบสด

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.IMAGE)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face landmarker instance with the video mode:
options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.VIDEO)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceLandmarker = mp.tasks.vision.FaceLandmarker
FaceLandmarkerOptions = mp.tasks.vision.FaceLandmarkerOptions
FaceLandmarkerResult = mp.tasks.vision.FaceLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face landmarker instance with the live stream mode:
def print_result(result: FaceLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('face landmarker result: {}'.format(result))

options = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path=model_path),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)

with FaceLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

สำหรับตัวอย่างที่สมบูรณ์ของการสร้างเครื่องมือเน้นใบหน้าสำหรับใช้กับภาพ โปรดดู รหัส ตัวอย่าง

ตัวเลือกการกำหนดค่า

งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้สำหรับแอปพลิเคชัน Python

เตรียมข้อมูล

จัดเตรียมอินพุตของคุณเป็นไฟล์ภาพหรืออาร์เรย์ numpy แล้วแปลงเป็น ออบเจ็กต์ mediapipe.Image รายการ หากข้อมูลที่คุณป้อนเป็นไฟล์วิดีโอหรือสตรีมแบบสดจาก เว็บแคม คุณจะสามารถใช้ไลบรารีภายนอก เช่น OpenCV เพื่อโหลดเฟรมอินพุตเป็นตัวเลข อาร์เรย์

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

เรียกใช้งาน

เครื่องมือไฮไลต์ใบหน้าใช้ detect, detect_for_video และ detect_async เพื่อทริกเกอร์การอนุมาน สำหรับจุดสังเกตของใบหน้า จะรวมถึง ประมวลผลข้อมูลอินพุตล่วงหน้าและตรวจจับใบหน้าในรูปภาพ

โค้ดต่อไปนี้แสดงวิธีดำเนินการประมวลผลกับงาน โมเดล

# Perform face landmarking on the provided single image.
# The face landmarker must be created with the image mode.
face_landmarker_result = landmarker.detect(mp_image)
    

# Perform face landmarking on the provided single image.
# The face landmarker must be created with the video mode.
face_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform face landmarking.
# The results are accessible via the `result_callback` provided in
# the `FaceLandmarkerOptions` object.
# The face landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

โปรดทราบดังต่อไปนี้

• เมื่อทำงานในโหมดวิดีโอหรือโหมดสตรีมแบบสด ให้ เครื่องมือเน้นใบหน้าทำงานเกี่ยวกับการประทับเวลาของเฟรมอินพุต
• เมื่อเรียกใช้ในรูปภาพหรือวิดีโอ งานเครื่องมือจุดสังเกตใบหน้าจะบล็อก ชุดข้อความปัจจุบันจนกว่าจะประมวลผลรูปภาพหรือเฟรมอินพุตเสร็จสิ้น
• เมื่อทำงานในโหมดสตรีมแบบสด งานเครื่องมือจุดสังเกตใบหน้าจะส่งคืน ทันทีและไม่บล็อกชุดข้อความปัจจุบัน ซึ่งจะเรียกใช้ผลลัพธ์ Listener ของคุณพร้อมผลการตรวจหาทุกครั้งที่เสร็จสิ้นการประมวลผล เฟรมอินพุต หากมีการเรียกฟังก์ชันการตรวจจับเมื่องานเครื่องมือจุดสังเกตใบหน้า ไม่ว่างในการประมวลผลเฟรมอื่น งานจะไม่สนใจเฟรมอินพุตใหม่

สำหรับตัวอย่างทั้งหมดของการเรียกใช้เครื่องมือเน้นใบหน้าบนภาพ ให้ดูที่รหัส ตัวอย่าง เพื่อดูรายละเอียด

จัดการและแสดงผลลัพธ์

เครื่องมือจุดสังเกตใบหน้าจะแสดงออบเจ็กต์ FaceLandmarkerResult สำหรับการตรวจจับแต่ละรายการ วิ่งได้ วัตถุผลลัพธ์มีตาข่ายใบหน้าสำหรับใบหน้าที่ตรวจพบแต่ละรายการ พิกัดสำหรับจุดสังเกตของใบหน้าแต่ละจุด (ไม่บังคับ) ออบเจ็กต์ผลลัพธ์ยังสามารถ มีรูปร่างผสมซึ่งแสดงถึงการแสดงออกทางสีหน้าและใบหน้า เมทริกซ์การเปลี่ยนรูปแบบเพื่อใช้เอฟเฟกต์ใบหน้ากับจุดสังเกตที่ตรวจพบ

ตัวอย่างต่อไปนี้แสดงตัวอย่างข้อมูลเอาต์พุตจากงานนี้

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

รูปภาพต่อไปนี้แสดงการแสดงภาพเอาต์พุตของงาน

โค้ดตัวอย่างเครื่องมือจุดสังเกตใบหน้าแสดงวิธีแสดงผลลัพธ์ จากงานนี้ โปรดดูรหัส ตัวอย่าง เพื่อดูรายละเอียด