Python 的臉部偵測指南

MediaPipe 臉部偵測工作可讓您偵測圖片或影片中的臉孔。別擔心！您可以使用 這項工作能找出相框內的人臉和臉部特徵這項工作會使用 用於單一或連續圖像的機器學習 (ML) 模型 一流的圖片這項工作會輸出臉孔位置，以及以下程式碼 臉部表情要點：左眼、右眼、鼻子、嘴巴、左眼視線和 右眼滑動

如需上述指示中所述的程式碼範例，請前往 GitHub。 進一步瞭解功能、模型和設定選項 請參閱總覽。

程式碼範例

臉部偵測器的範例程式碼提供完整的實作 執行相關作業這個程式碼可協助您測試這項工作 就能開始打造自己的臉部偵測器您可以查看、執行 編輯 臉部偵測器程式碼範例 只要使用網路瀏覽器即可。

如果您要為 Raspberry Pi 實作臉部偵測器，請參閱 Raspberry Pi 範例 app。

設定

本節說明設定開發環境的重要步驟，以及 以及專門使用 Face Detector 的程式碼專案如需 設定開發環境以使用 MediaPipe 工作，包括： 平台版本需求，請參閱 Python 設定指南。

套件

MediaPipe Face Detector 工作需要 mediapipe PyPI 套件。 您可以透過下列指令安裝及匯入這些依附元件：

$ python -m pip install mediapipe

匯入

匯入下列類別即可存取臉部偵測器工作函式：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型號

MediaPipe Face Detector 工作需要一個與此相容的已訓練模型 工作。如要進一步瞭解適用於臉部偵測器的已訓練模型，請參閱： 工作總覽的「模型」一節。

選取並下載模型，然後儲存在本機目錄中：

model_path = '/absolute/path/to/face_detector.task'

使用 BaseOptions 物件 model_asset_path 參數指定路徑 要使用的模型如需程式碼範例，請參閱下一節。

建立工作

MediaPipe 臉部偵測工作會使用 create_from_options 函式來 設定工作。create_from_options 函式接受值 來處理設定選項進一步瞭解設定 選項，請參閱設定選項。

下列程式碼示範如何建構及設定這項工作。

這些樣本還會顯示圖片的工作建構方式的不同版本， 影片檔案和直播

圖片

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceDetector = mp.tasks.vision.FaceDetector
FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face detector instance with the image mode:
options = FaceDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE)
with FaceDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...

影片

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceDetector = mp.tasks.vision.FaceDetector
FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face detector instance with the video mode:
options = FaceDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO)
with FaceDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...

直播

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
FaceDetector = mp.tasks.vision.FaceDetector
FaceDetectorOptions = mp.tasks.vision.FaceDetectorOptions
FaceDetectorResult = mp.tasks.vision.FaceDetectorResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a face detector instance with the live stream mode:
def print_result(result: FaceDetectorResult, output_image: mp.Image, timestamp_ms: int):
    print('face detector result: {}'.format(result))

options = FaceDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)
with FaceDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...

如需建立臉部偵測器以便與圖片搭配使用的完整範例，請參閱 程式碼範例。

設定選項

這項工作有下列 Python 應用程式設定選項：

選項名稱 說明 值範圍 預設值
running_mode 設定任務的執行模式。在架構中 模式：

圖片：單一圖片輸入模式。

VIDEO：影片已解碼的影格模式。

LIVE_STREAM：輸入串流模式 擷取的資訊等。在此模式下， resultListener 設定接聽程式來接收結果 以非同步方式載入物件		 {IMAGE, VIDEO, LIVE_STREAM} IMAGE
min_detection_confidence 臉部偵測必須達到的最低可信度分數，才能視為成功。 Float [0,1] 0.5
min_suppression_threshold 臉部偵測視為重疊的最大非抑制門檻。 Float [0,1] 0.3
result_callback 設定結果事件監聽器以接收偵測結果 以非同步方式啟動臉部偵測器 模式。只有在執行模式設為 LIVE_STREAM 時才能使用。 N/A Not set

準備資料

準備輸入圖片檔案或 numpy 陣列 然後將其轉換為 mediapipe.Image 物件如果輸入內容是影片檔案 或透過網路攝影機直播，可以使用如 OpenCV，會將輸入影格載入為 numpy 陣列。

圖片

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

影片

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)

直播

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)

執行工作

臉部偵測器會使用 detect、detect_for_video 和 detect_async 函式，用於觸發推論。如果是臉部偵測功能 預先處理輸入資料及偵測圖片中的臉孔。

以下程式碼示範如何使用工作模型執行處理程序。

圖片

# Perform face detection on the provided single image.
# The face detector must be created with the image mode.
face_detector_result = detector.detect(mp_image)

影片

# Perform face detection on the provided single image.
# The face detector must be created with the video mode.
face_detector_result = detector.detect_for_video(mp_image, frame_timestamp_ms)

直播

# Send live image data to perform face detection.
# The results are accessible via the `result_callback` provided in
# the `FaceDetectorOptions` object.
# The face detector must be created with the live stream mode.
detector.detect_async(mp_image, frame_timestamp_ms)

注意事項：

  • 以錄影模式或直播模式執行時 提供臉部偵測器工作，做為輸入影格的時間戳記。
  • 在圖片或影片模型中執行時，臉部偵測工作 會阻斷目前的執行緒，直到執行緒處理完成輸入圖片， 相框。
  • 在直播模式下執行時，臉部偵測器工作會傳回 而且不會封鎖目前的執行緒。就會叫用結果 每次處理完 輸入影格如果臉部偵測器工作時呼叫了偵測功能 工作正忙於處理另一個影格，該工作會忽略新的輸入框。

如需對圖片執行臉部偵測器的完整範例，請參閱 程式碼範例 。

處理及顯示結果

臉部偵測器會為每項偵測傳回 FaceDetectorResult 物件 此程序的第一步 是將程式碼簽入執行所有單元測試的存放區中結果物件包含偵測到臉孔的定界框，以及 自己偵測到的臉孔，以及輸入每個臉部的可信度分數

以下範例顯示這項工作的輸出資料範例：

FaceDetectionResult:
  Detections:
    Detection #0:
      BoundingBox:
        origin_x: 126
        origin_y: 100
        width: 463
        height: 463
      Categories:
        Category #0:
          index: 0
          score: 0.9729152917861938
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.18298381567001343
          y: 0.2961040139198303
        NormalizedKeypoint #1:
          x: 0.3302789330482483
          y: 0.29289937019348145
        ... (6 keypoints for each face)
    Detection #1:
      BoundingBox:
        origin_x: 616
        origin_y: 193
        width: 430
        height: 430
      Categories:
        Category #0:
          index: 0
          score: 0.9251380562782288
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.6151331663131714
          y: 0.3713381886482239
        NormalizedKeypoint #1:
          x: 0.7460576295852661
          y: 0.38825345039367676
        ... (6 keypoints for each face)

下圖是工作輸出內容的視覺化呈現：

如果是沒有定界框的圖片，請參閱原始圖片。

臉部偵測器範例程式碼示範如何顯示 查看工作傳回的結果 程式碼範例。 。