本頁面由 Cloud Translation API 翻譯而成。

Android 圖片分類指南

MediaPipe 圖片分類器工作可讓您對圖片執行分類。您可以使用這項工作，在訓練期間定義一組類別的圖片代表的圖片代表的意義。以下操作說明將說明如何搭配 Android 應用程式使用圖片分類器。您可以前往 GitHub 取得這些操作說明中提及的程式碼範例。

如要查看這項工作的實際運作情形，請參閱網頁示範。如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

MediaPipe Tasks 範例程式碼是 Android 圖片分類器應用程式的簡易實作方式。這個範例會使用實體 Android 裝置的相機將物件持續分類，也能使用裝置圖片庫中的圖片和影片，以靜態方式分類物件。

您可以將該應用程式做為開發 Android 應用程式的起點，或在修改現有應用程式時參照。圖片分類器範例程式碼由 GitHub 代管。

下載程式碼

以下操作說明說明如何使用 git 指令列工具建立範例程式碼的本機副本。

如要下載範例程式碼，請按照下列步驟操作：

使用下列指令複製 Git 存放區：

git clone https://github.com/google-ai-edge/mediapipe-samples

您可以選擇將 Git 執行個體設為使用稀疏檢查，因此只有 Image Classifier 範例應用程式的檔案：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/image_classification/android
```

建立範例程式碼的本機版本後，您可以將專案匯入 Android Studio 並執行應用程式。如需操作說明，請參閱「Android 設定指南」。

重要元件

下列檔案包含此圖片分類範例應用程式的重要程式碼：

ImageClassifierHelper.kt：初始化圖片分類器並處理模型並委派選取。
MainActivity.kt - 實作應用程式，包括呼叫 ImageClassificationHelper 和 ClassificationResultsAdapter。
ClassificationResultsAdapter.kt - 處理結果並設定格式。

設定

本節說明設定開發環境及程式碼專案，以使用 Image Classifier 的重要步驟。如需瞭解如何設定開發環境以使用 MediaPipe 工作 (包括平台版本需求)，請參閱「Android 設定指南」。

依附元件

圖片分類器使用 com.google.mediapipe:tasks-vision 程式庫。將這個依附元件新增至 Android 應用程式開發專案的 build.gradle 檔案。使用下列程式碼匯入必要的依附元件：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe 圖片分類器工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解 Image Classifier 可用的已訓練模型，請參閱工作總覽「模型」一節。

選取並下載模型，然後將其儲存在專案目錄中：

<dev-project-root>/src/main/assets

請使用 BaseOptions.Builder.setModelAssetPath() 方法指定模型使用的路徑。在下一節的程式碼範例中稱為此方法。

這個模型是在圖片分類器範例程式碼中定義，並在 ImageClassifierHelper.kt 檔案中定義。

建立工作

您可以使用 createFromOptions 函式建立工作。createFromOptions 函式可接受設定選項，包括執行模式、顯示名稱語言代碼、結果數量上限、可信度門檻，以及類別許可清單或拒絕清單。如要進一步瞭解設定選項，請參閱「設定總覽」。

圖片分類器工作支援 3 種輸入資料類型：靜態圖片、影片檔案和即時影片串流。您在建立工作時，需要指定與輸入資料類型相對應的執行模式。請選擇與輸入資料類型對應的分頁標籤，瞭解如何建立工作並執行推論。

圖片

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);

影片

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);

直播

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setMaxResults(5)
    .setResultListener((result, inputImage) -> {
         // Process the classification result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the classification errors here.
    })
    .build()
imageClassifier = ImageClassifier.createFromOptions(context, options)

圖片分類器範例程式碼實作可讓使用者切換處理模式。這種做法會讓工作建立程式碼變得更加複雜，並且可能不適合您的用途。您可以在 ImageClassifierHelper.kt 檔案的 setupImageClassifier() 函式中看到此程式碼。

設定選項

這項工作的 Android 應用程式設定選項如下：

選項名稱	說明	值範圍	預設值
`runningMode`	設定工作的執行模式。共有三種模式： IMAGE：單一圖片輸入的模式。影片：影片已解碼影格的模式。 LIVE_STREAM：輸入資料串流 (例如攝影機) 的直播模式。在這個模式下，必須呼叫 resultListener 才能設定事件監聽器，以非同步方式接收結果。	{`IMAGE, VIDEO, LIVE_STREAM`}	`IMAGE`
`displayNamesLocale`	設定標籤語言，用於工作模型中繼資料內的顯示名稱 (如有)。英文的預設值是 `en`。您可以使用 TensorFlow Lite Metadata Writer API，在自訂模型的中繼資料中加入本地化標籤	語言代碼	en
`maxResults`	設定要傳回的最高評分分類結果數量上限 (選用)。如果小於 0，系統會傳回所有可用的結果。	任何正數	`-1`
`scoreThreshold`	設定預測分數門檻，覆寫模型中繼資料 (如有) 中提供的分數門檻。這個值下方的結果遭到拒絕。	不限浮點值	未設定
`categoryAllowlist`	設定允許的類別名稱 (選用)。如果不是空白，系統會篩除類別名稱不在這個組合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 `categoryDenylist` 互斥，且同時使用兩者會導致錯誤。	任何字串	未設定
`categoryDenylist`	設定不允許使用的類別名稱清單。如果不是空白，系統會篩除類別名稱在此集合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 `categoryAllowlist` 互斥，且同時使用兩者會導致錯誤。	任何字串	未設定
`resultListener`	設定結果事件監聽器，在圖片分類器處於直播模式時，以非同步方式接收分類結果。只能在執行模式設為 `LIVE_STREAM` 時使用	不適用	未設定
`errorListener`	設定選用的錯誤事件監聽器。	不適用	未設定

準備資料

圖片分類器適用於圖片、影片檔案和直播影片。工作會處理資料輸入的預先處理作業，包括調整大小、旋轉和值正規化。

您必須將輸入圖片或框架轉換為 com.google.mediapipe.framework.image.MPImage 物件，才能將其傳送至圖片分類器。

圖片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

影片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames 
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis, 
// extract the encapsulated Android’s Image object and convert it to 
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();

在圖片分類器範例程式碼中，資料準備是在 ImageClassifierHelper.kt 檔案中處理。

執行工作

您可以呼叫與執行模式對應的 classify 函式來觸發推論。Image Classifier API 會傳回輸入圖片或頁框中物件的可能類別。

圖片

ImageClassifierResult classifierResult = imageClassifier.classify(image);

影片

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageClassifierResult classifierResult =
    imageClassifier.classifyForVideo(image, frameTimestampMs);

直播


// Run inference on the frame. The classifications results will be available 
// via the `resultListener` provided in the `ImageClassifierOptions` when 
// the image classifier was created.
imageClassifier.classifyAsync(image, frameTimestampMs);

注意事項：

在影片模式或直播模式中執行時，您也必須為圖片分類器工作提供輸入影格的時間戳記。
在圖片或影片模式中執行時，圖片分類器工作會封鎖目前的執行緒，直到完成輸入圖片或影格的處理為止。如要避免封鎖使用者介面，請在背景執行緒中執行處理作業。
以直播模式執行時，圖片分類器工作不會封鎖目前的執行緒，但會立即傳回。每當它處理完輸入影格時，就會透過偵測結果叫用結果監聽器。如果在圖片分類器工作忙於處理其他影格時呼叫 classifyAsync 函式，則工作會忽略新的輸入影格。

在圖片分類器範例程式碼中，ImageClassifierHelper.kt 檔案已定義 classify 函式。

處理並顯示結果

執行推論時，圖片分類器工作會傳回 ImageClassifierResult 物件，其中包含輸入圖片或影格中物件的可能類別清單。

以下為這項工作的輸出資料範例：

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

已取得這項結果，方法是在以下裝置執行 Bird Classifier：

在圖片分類器範例程式碼中，ClassificationResultsAdapter.kt 檔案中的 ClassificationResultsAdapter 類別會處理結果：

fun updateResults(imageClassifierResult: ImageClassifierResult? = null) {
    categories = MutableList(adapterSize) { null }
    if (imageClassifierResult != null) {
        val sortedCategories = imageClassifierResult.classificationResult()
            .classifications()[0].categories().sortedBy { it.index() }
        val min = kotlin.math.min(sortedCategories.size, categories.size)
        for (i in 0 until min) {
            categories[i] = sortedCategories[i]
        }
    }
}