Android 臉部地標偵測指南

MediaPipe Face Marker 工作可讓您偵測圖片和影片中的臉孔地標和臉部表情。您可以使用這項工作來識別人臉表情、套用臉部濾鏡和特效，以及建立虛擬顯示圖片。這項工作使用的機器學習 (ML) 模型可與單一圖片或連續圖片串流搭配使用。這個工作會輸出 3D 臉部地標、混合形狀分數 (代表臉部表情的係數) 來即時推論出詳細臉部面，並轉換矩陣，執行轉譯效果所需的轉換。

您可以前往 GitHub 取得這些操作說明中提及的程式碼範例。如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

MediaPipe Tasks 範例程式碼是適用於 Android 的輕鬆實作臉孔地標應用程式。這個範例使用 Android 實體裝置的相機，偵測連續影片串流中的臉孔。應用程式也可以從裝置圖片庫偵測圖片和影片中的臉孔。

您可以將該應用程式做為開發 Android 應用程式的起點，或在修改現有應用程式時參照該應用程式。錶面地標程式碼是在 GitHub 上代管。

下載程式碼

以下操作說明說明如何使用 git 指令列工具建立範例程式碼的本機副本。

如要下載範例程式碼，請按照下列步驟操作：

1. 使用下列指令複製 Git 存放區：

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. 您可以選擇將 Git 執行個體設為使用稀疏結帳功能，如此一來，您只會有 Face Lander 範例應用程式的檔案：

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/face_landmarker/android
   

建立範例程式碼的本機版本後，您可以將專案匯入 Android Studio 並執行應用程式。如需操作說明，請參閱 Android 設定指南。

重要元件

下列檔案包含這個臉孔地標應用程式的重要程式碼：

• FaceLandmarkerHelper.kt - 初始化臉孔地標工具並處理模型並委派選取。
• CameraFragment.kt：處理裝置相機，並處理圖片和影片輸入資料。
• GalleryFragment.kt - 與 OverlayView 互動，以顯示輸出圖片或影片。
• OverlayView.kt：針對偵測到的臉孔實作含有臉部網格的螢幕。

設定

本節說明如何設定開發環境，以及專門針對使用臉孔地標工具的程式碼專案進行程式碼專案。如需瞭解如何使用 MediaPipe 工作設定開發環境的一般資訊，包括平台版本需求，請參閱 Android 設定指南。

依附元件

「臉孔地標工具」工作會使用 com.google.mediapipe:tasks-vision 程式庫。請將這個依附元件新增至 Android 應用程式的 build.gradle 檔案：

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Face Marker 工作需要經過訓練且與這項工作相容的模型組合。如要進一步瞭解「臉部地標工具」的可用已訓練模型，請參閱工作總覽「模型」一節。

選取並下載模型，並儲存在專案目錄中：

<dev-project-root>/src/main/assets

在 ModelAssetPath 參數中指定模型的路徑。在這個範例程式碼中，模型會在 FaceLandmarkerHelper.kt 檔案中定義：

baseOptionsBuilder.setModelAssetPath(MP_FACE_LANDMARKER_TASK)

建立工作

MediaPipe Face 地標工作會使用 createFromOptions() 函式設定工作。createFromOptions() 函式可接受設定選項的值。如要進一步瞭解設定選項，請參閱「設定選項」。

臉孔地標工具支援下列輸入資料類型：靜態圖片、影片檔案和即時影像串流。建立工作時，您需要指定與輸入資料類型相對應的執行模式。請選擇輸入資料類型的分頁標籤，瞭解如何建立工作並執行推論。

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_FACE_LANDMARKER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    FaceLandmarker.FaceLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinFaceDetectionConfidence(minFaceDetectionConfidence)
        .setMinTrackingConfidence(minFaceTrackingConfidence)
        .setMinFacePresenceConfidence(minFacePresenceConfidence)
        .setNumFaces(maxNumFaces)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
FaceLandmarker = FaceLandmarker.createFromOptions(context, options)
    

錶面地標工具範例程式碼實作可讓使用者切換處理模式。這種做法會讓工作建立程式碼變得更加複雜，並且可能不適合您的用途。您可以在 FaceLandmarkerHelper.kt 檔案的 setupFaceLandmarker() 函式中看到此程式碼。

設定選項

這項工作的 Android 應用程式設定選項如下：

準備資料

「Face Marker」處理圖片、影片檔案和即時影像串流。工作會處理資料輸入的預先處理作業，包括調整大小、旋轉和值正規化。

以下程式碼示範如何傳送資料以進行處理。這些範例包含如何處理圖片、影片檔案和直播影片串流的資料。

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()
    

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()
    

在「Face Marker」範例程式碼中，FaceLandmarkerHelper.kt 檔案會處理資料準備。

執行工作

視處理的資料類型而定，請使用該資料類型專屬的 FaceLandmarker.detect...() 方法。針對個別圖片，請使用 detect()；針對影片檔案中的影格，請使用 detectForVideo()；針對影片串流，則使用 detectAsync()。在影片串流中執行偵測時，請務必在另一個執行緒上執行偵測，以免封鎖使用者介面執行緒。

下列程式碼範例顯示如何在不同的資料模式中執行臉部地標工具的簡易範例：

val result = FaceLandmarker.detect(mpImage)
    

val timestampMs = i * inferenceIntervalMs

FaceLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }
    

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

FaceLandmarker.detectAsync(mpImage, frameTime)
    

注意事項：

• 以影片模式或直播模式執行時，您必須在「臉孔地標工具」工作中提供輸入影格的時間戳記。
• 在影像或影片模式中執行時，臉部地標工作會封鎖目前的執行緒，直到完成輸入圖片或影格為止。如要避免封鎖使用者介面，請在背景執行緒中執行處理程序。
• 以直播模式執行時，「臉孔地標」工作會立即回傳，且不會封鎖目前的執行緒。每當它處理完輸入影格時，就會透過偵測結果叫用結果監聽器。

在臉孔地標範例程式碼中，detect、detectForVideo 和 detectAsync 函式是在 FaceLandmarkerHelper.kt 檔案中定義。

處理並顯示結果

臉孔地標 er 會在每次執行偵測時傳回 FaceLandmarkerResult 物件。結果物件會包含每個偵測到的臉孔網格，以及每個臉孔地標的座標。結果物件也可以視需要包含混合形狀 (表示臉部表情)，以及臉部轉換矩陣，對偵測到的地標套用臉部效果。

以下為這項工作的輸出資料範例：

FaceLandmarkerResult:
  face_landmarks:
    NormalizedLandmark #0:
      x: 0.5971359014511108
      y: 0.485361784696579
      z: -0.038440968841314316
    NormalizedLandmark #1:
      x: 0.3302789330482483
      y: 0.29289937019348145
      z: -0.09489090740680695
    ... (478 landmarks for each face)
  face_blendshapes:
    browDownLeft: 0.8296722769737244
    browDownRight: 0.8096957206726074
    browInnerUp: 0.00035583582939580083
    browOuterUpLeft: 0.00035752105759456754
    ... (52 blendshapes for each face)
  facial_transformation_matrixes:
    [9.99158978e-01, -1.23036895e-02, 3.91213447e-02, -3.70770246e-01]
    [1.66496094e-02,  9.93480563e-01, -1.12779640e-01, 2.27719707e+01]
    ...

下圖以視覺化方式呈現工作輸出內容：

臉孔地標工具範例程式碼展示如何顯示從工作傳回的結果，詳情請參閱 OverlayView 類別。