網頁版臉部偵測指南

MediaPipe Face Detector 工作可偵測圖片或影片中的臉孔。您可以使用這項工作，在影格中找出臉部和臉部特徵。這項工作會使用機器學習 (ML) 模型，處理單張圖片或連續圖片串流。這項工作會輸出臉部位置，以及下列臉部關鍵點：左眼、右眼、鼻尖、嘴巴、左眼耳屏和右眼耳屏。

以下操作說明將介紹如何使用網頁和 JavaScript 應用程式的 Face Detector。如要進一步瞭解這項工作的能力、模型和設定選項，請參閱「總覽」。

程式碼範例

臉部偵測器範例程式碼提供這項工作的完整 JavaScript 實作方式，供您參考。這段程式碼可協助您測試這項工作，並開始建構自己的臉部偵測應用程式。您只需使用網路瀏覽器，即可查看、執行及編輯臉部偵測器範例。

設定

本節說明設定開發環境的主要步驟，特別是使用 Face Detector 時。如要瞭解如何設定網頁和 JavaScript 開發環境 (包括平台版本需求)，請參閱網頁設定指南。

JavaScript 套件

您可以透過 MediaPipe @mediapipe/tasks-vision NPM 套件取得 Face Detector 程式碼。如要尋找及下載這些程式庫，請按照平台設定指南中的操作說明進行。

您可以使用下列指令，透過 NPM 安裝必要套件：

npm install @mediapipe/tasks-vision

如要透過內容傳遞聯播網 (CDN) 服務匯入工作程式碼，請在 HTML 檔案的 <head> 代碼中加入下列程式碼：

<!-- You can replace JSDeliver with another CDN if you prefer to -->
<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.mjs"
    crossorigin="anonymous"></script>
</head>

型號

MediaPipe Face Detector 工作需要與這項工作相容的訓練模型。如要進一步瞭解適用於臉部偵測器的訓練模型，請參閱工作總覽的「模型」部分。

選取並下載模型，然後儲存在專案目錄中：

<dev-project-root>/app/shared/models/

建立工作

使用其中一個 Face Detector createFrom...() 函式，準備執行推論作業。使用 createFromModelPath() 函式，搭配訓練好的模型檔案的相對或絕對路徑。如果模型已載入記憶體，可以使用 createFromModelBuffer() 方法。

下方程式碼範例說明如何使用 createFromOptions() 函式設定工作。createFromOptions 函式可讓您使用設定選項自訂臉部偵測器。如要進一步瞭解設定選項，請參閱「設定選項」。

下列程式碼示範如何使用自訂選項建構及設定工作：

const vision = await FilesetResolver.forVisionTasks(
  // path/to/wasm/root
  "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@latest/wasm"
);
const facedetector = await FaceDetector.createFromOptions(
    vision,
    {
      baseOptions: {
        modelAssetPath: "path/to/model"
      },
      runningMode: runningMode
    });

設定選項

這項工作提供下列網頁和 JavaScript 應用程式的設定選項：

選項名稱 說明 值範圍 預設值
option_var_1_web_js 設定工作執行模式。有兩種模式：

IMAGE：單一圖片輸入模式。

VIDEO：用於影片解碼影格的模式，或用於輸入資料的直播，例如來自攝影機的資料。		 {IMAGE, VIDEO} IMAGE
minDetectionConfidence 臉部偵測成功所需的最低信賴分數。 Float [0,1] 0.5
minSuppressionThreshold 臉部偵測的非最大抑制門檻下限，超過這個門檻即視為重疊。 Float [0,1] 0.3

準備資料

Face Detector 可以偵測主機瀏覽器支援的任何格式圖片中的臉孔。這項工作也會處理資料輸入預先處理作業，包括調整大小、旋轉和值正規化。如要偵測影片中的臉部，可以使用 API 快速處理每個影格，並根據影格的時間戳記判斷臉部出現在影片中的時間。

執行工作

臉部偵測器會使用 detect() (執行模式為 image) 和 detectForVideo() (執行模式為 video) 方法觸發推論。這項工作會處理資料、嘗試偵測臉部，然後回報結果。

對 Face Detector detect() 和 detectForVideo() 方法的呼叫會同步執行，並封鎖使用者介面執行緒。如果偵測到裝置攝影機影像影格中的臉部，每次偵測都會封鎖主要執行緒。如要避免這種情況，請實作網頁工作人員，在另一個執行緒上執行 detect() 和 detectForVideo() 方法。

以下程式碼示範如何使用工作模型執行處理作業：

圖片

const image = document.getElementById("image") as HTMLImageElement;
const faceDetectorResult = faceDetector.detect(image);

影片

await faceDetector.setOptions({ runningMode: "video" });

let lastVideoTime = -1;
function renderLoop(): void {
  const video = document.getElementById("video");

  if (video.currentTime !== lastVideoTime) {
    const detections = faceDetector.detectForVideo(video);
    processResults(detections);
    lastVideoTime = video.currentTime;
  }

  requestAnimationFrame(() => {
    renderLoop();
  });
}

如要完整瞭解如何執行臉部偵測器工作，請參閱「範例」。

處理及顯示結果

Face Detector 會為每次偵測作業產生臉部偵測結果物件。結果物件包含圖片座標中的臉孔，以及世界座標中的臉孔。

以下是這項工作的輸出資料範例：

FaceDetectionResult:
  Detections:
    Detection #0:
      BoundingBox:
        origin_x: 126
        origin_y: 100
        width: 463
        height: 463
      Categories:
        Category #0:
          index: 0
          score: 0.9729152917861938
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.18298381567001343
          y: 0.2961040139198303
        NormalizedKeypoint #1:
          x: 0.3302789330482483
          y: 0.29289937019348145
        ... (6 keypoints for each face)
    Detection #1:
      BoundingBox:
        origin_x: 616
        origin_y: 193
        width: 430
        height: 430
      Categories:
        Category #0:
          index: 0
          score: 0.9251380562782288
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.6151331663131714
          y: 0.3713381886482239
        NormalizedKeypoint #1:
          x: 0.7460576295852661
          y: 0.38825345039367676
        ... (6 keypoints for each face)

下圖顯示工作輸出內容的視覺化效果：

兩名孩童的臉部周圍有方塊

如要查看不含定界框的圖片，請參閱原始圖片。

臉部偵測器範例程式碼會說明如何顯示工作傳回的結果，請參閱範例。