隆重推出 LiteRT：Google 為裝置端 AI (舊稱 TensorFlow Lite) 打造的高效能執行階段。

本頁面由 Cloud Translation API 翻譯而成。

Android 的臉部偵測指南

MediaPipe 臉部偵測工作可讓您偵測圖片或影片中的臉孔。別擔心！您可以使用這項工作能找出相框內的人臉和臉部特徵這項工作會使用用於單一或連續圖像的機器學習 (ML) 模型一流的圖片這項工作會輸出臉孔位置，以及以下程式碼臉部表情要點：左眼、右眼、鼻子、嘴巴、左眼視線和右眼滑動

在此說明中所述的程式碼範例為 GitHub。如要進一步瞭解功能、模型請參閱總覽一文。

程式碼範例

MediaPipe Tasks 範例程式碼是臉部偵測器的簡易實作方式 App Engine 應用程式這個範例會使用實體 Android 裝置上的相機執行以下動作：在連續影片串流中偵測臉孔。應用程式也可以在裝置圖片庫中偵測圖片和影片中的臉孔。

您可以將應用程式做為起點，當做 Android 應用程式的起點，也可以參照應用程式做出決定臉部偵測器範例程式碼 GitHub。

下載程式碼

以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。

如要下載範例程式碼，請按照下列步驟操作：

使用下列指令複製 git 存放區：

git clone https://github.com/google-ai-edge/mediapipe-samples

您也可以選擇設定 Git 執行個體，以使用稀疏結帳功能。因此，您只擁有臉部偵測器範例應用程式的檔案：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/face_detector/android
```

建立範例程式碼的本機版本後，您可以匯入專案然後執行應用程式如需操作說明，請參閱 Android 設定指南。

重要元件

以下檔案含有此臉部偵測範例的重要程式碼應用程式：

FaceDetectorHelper.kt：初始化臉部偵測工具並處理模型和委派項目。
CameraFragment.kt：處理裝置相機，並處理圖片和影片輸入資料。
GalleryFragment.kt：與 OverlayView 互動，顯示輸出圖片或影片。
OverlayView.kt - 實作偵測到臉孔的定界框螢幕。

設定

本節說明設定開發環境的重要步驟，以及以及專門使用 Face Detector 的程式碼專案如需設定開發環境以使用 MediaPipe 工作，包括：平台版本需求，請參閱 Android 設定指南。

依附元件

臉部偵測工作會使用 com.google.mediapipe:tasks-vision 資源庫。請將這個依附元件新增至 Android 應用程式的 build.gradle 檔案：

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Face Detector 工作需要經過訓練且與執行這項工作如要進一步瞭解適用於臉部偵測器的已訓練模型，請參閱工作總覽的「模型」一節。

選取並下載模型，然後儲存在專案目錄中：

<dev-project-root>/src/main/assets

在 ModelAssetPath 參數中指定模型的路徑。在範例程式碼模型定義於 FaceDetectorHelper.kt 檔案：

val modelName = "face_detection_short_range.tflite"
baseOptionsBuilder.setModelAssetPath(modelName)

建立工作

MediaPipe 臉部偵測工作會使用 createFromOptions() 函式設定工作。createFromOptions() 函式可接受設定值只要設定成「自動重新啟動」和「在主機維護期間」選項即可如要進一步瞭解設定選項，請參閱設定選項。

臉部偵測器支援下列輸入資料類型：靜態圖片、影片檔案和即時影像串流您必須指定與輸入資料類型請根據您的輸入資料類型，示範如何建立工作並執行推論

圖片

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)

影片

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)

直播

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    FaceDetector.FaceDetectorOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinDetectionConfidence(threshold)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()

FaceDetector =
    FaceDetector.createFromOptions(context, options)

實作臉部偵測程式碼的程式碼範例可讓使用者切換處理模式這種方法使得工作建立程式碼變得更加複雜，可能會不適合您的用途您可以在 setupFaceDetector() 函式，用於 FaceDetectorHelper.kt 檔案。

設定選項

這項工作有下列 Android 應用程式設定選項：

選項名稱	說明	值範圍	預設值
`runningMode`	設定任務的執行模式。在架構中模式：圖片：單一圖片輸入模式。 VIDEO：影片已解碼的影格模式。 LIVE_STREAM：輸入串流模式擷取的資訊等。在此模式下， resultListener 設定接聽程式來接收結果以非同步方式載入物件	{`IMAGE, VIDEO, LIVE_STREAM`}	`IMAGE`
`minDetectionConfidence`	臉部偵測必須達到的最低可信度分數，才能視為成功。	`Float [0,1]`	`0.5`
`minSuppressionThreshold`	臉部偵測視為重疊的最大非抑制門檻。	`Float [0,1]`	`0.3`
`resultListener`	設定結果事件監聽器以接收偵測結果以非同步方式啟動臉部偵測器模式。只有在執行模式設為 `LIVE_STREAM` 時才能使用。	`N/A`	`Not set`
`errorListener`	設定選用的錯誤事件監聽器。	`N/A`	`Not set`

準備資料

臉部偵測器支援圖片、影片檔案和即時影像串流。工作內容處理資料輸入預先處理作業，包括調整大小、旋轉和值以便處理正規化的情況

以下程式碼示範如何發送資料進行處理。這些樣本包括如何處理圖片、影片檔案、和串流影片。

圖片

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()

影片

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()

直播

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()

在臉部偵測器範例程式碼，則會在 FaceDetectorHelper.kt敬上檔案。

執行工作

請根據您處理的資料類型使用該資料類型專屬的 faceDetector.detect...() 方法。使用 detect() 適用於個別映像檔， detectForVideo() 適用於影片檔案中的影格 detectAsync() 代表影片串流。當您對某個網路類型執行偵測時影片串流，請務必在另外的執行緒執行偵測，以免並封鎖使用者介面執行緒

以下程式碼範例顯示瞭如何執行臉部偵測的簡易範例分別是

圖片

val result = faceDetector.detect(mpImage)

影片

val timestampMs = i * inferenceIntervalMs

faceDetector.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }

直播

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

faceDetector.detectAsync(mpImage, frameTime)

注意事項：

以錄影模式或直播模式執行時，你必須向臉部偵測器工作提供輸入影格的時間戳記。
以圖片或影片模式執行時，臉部偵測器工作會阻斷目前的執行緒，直到執行緒處理完成輸入圖片，相框。為避免封鎖使用者介面，請在背景執行緒。
在直播模式下執行時，臉部偵測器工作會傳回而且不會封鎖目前的執行緒。就會叫用結果每次處理完輸入影格如果臉部偵測器工作時呼叫了偵測功能工作正忙於處理另一個影格，該工作會忽略新的輸入框。

在臉部偵測器範例程式碼、detect、detectForVideo 和 detectAsync 函式定義於 FaceDetectorHelper.kt。檔案。

處理及顯示結果

臉部偵測器會為每項偵測傳回 FaceDetectorResult 物件此程序的第一步是將程式碼簽入執行所有單元測試的存放區中結果物件包含偵測到臉孔的定界框，以及自己偵測到的臉孔，以及輸入每個臉部的可信度分數

以下範例顯示這項工作的輸出資料範例：

FaceDetectionResult:
  Detections:
    Detection #0:
      BoundingBox:
        origin_x: 126
        origin_y: 100
        width: 463
        height: 463
      Categories:
        Category #0:
          index: 0
          score: 0.9729152917861938
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.18298381567001343
          y: 0.2961040139198303
        NormalizedKeypoint #1:
          x: 0.3302789330482483
          y: 0.29289937019348145
        ... (6 keypoints for each face)
    Detection #1:
      BoundingBox:
        origin_x: 616
        origin_y: 193
        width: 430
        height: 430
      Categories:
        Category #0:
          index: 0
          score: 0.9251380562782288
      NormalizedKeypoints:
        NormalizedKeypoint #0:
          x: 0.6151331663131714
          y: 0.3713381886482239
        NormalizedKeypoint #1:
          x: 0.7460576295852661
          y: 0.38825345039367676
        ... (6 keypoints for each face)

下圖是工作輸出內容的視覺化呈現：

如果是沒有定界框的圖片，請參閱原始圖片。

臉部偵測器範例程式碼示範如何顯示查看工作傳回的結果 OverlayView敬上類別，取得更多詳細資訊。