Android 圖片嵌入指南

MediaPipe Image Embedder 工作可讓您將圖片資料轉換成數字 完成機器學習相關影像處理工作，例如比較 兩個圖片的相似度。這些指示說明如何使用 透過 Android 應用程式使用圖片嵌入程式。

進一步瞭解功能、模型和設定選項 請參閱總覽。

程式碼範例

MediaPipe 工作範例程式碼是 Image Embedder 的簡易實作方式 App Engine 應用程式這個範例會使用實體 Android 裝置上的相機執行以下動作： 持續嵌入圖片，也可對儲存的圖片檔執行嵌入程式 應用程式。

您可以將應用程式做為起點，當做 Android 應用程式的起點，也可以參照應用程式 做出決定Image Embedder 範例程式碼 GitHub。

下載程式碼

以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。

如要下載範例程式碼，請按照下列步驟操作：

1. 使用下列指令複製 git 存放區：

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. 您也可以設定 Git 執行個體來使用稀疏結帳功能， 只有 Image Embedder 範例應用程式的檔案：

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_embedder/android
   

建立範例程式碼的本機版本後，您可以匯入專案 然後執行應用程式如需操作說明，請參閱 Android：

重要元件

下列檔案包含這個圖片嵌入器範例的重要程式碼 應用程式：

• ImageEmbedderHelper.kt：初始化圖片嵌入器並處理模型與委派 。
• MainActivity.kt：實作應用程式並組合使用者介面元件。

設定

本節說明設定開發環境的重要步驟，以及 程式碼專案來使用 Image Embedder。如需設定 使用 MediaPipe 工作 (包括平台版本) 的開發環境 需求，請參閱設定指南 Android：

依附元件

Image Embedder 使用 com.google.mediapipe:tasks-vision 程式庫。新增此項目 Android 應用程式開發專案的 build.gradle 檔案的依附元件。 使用下列程式碼匯入必要的依附元件：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Image Embedder 工作需要與這項指令相容的已訓練模型 工作。如要進一步瞭解圖片嵌入器可用的已訓練模型，請參閱： 工作總覽的「模型」一節。

選取並下載模型，然後將模型儲存在專案目錄中：

<dev-project-root>/src/main/assets

在 ModelAssetPath 參數中指定模型的路徑。在 模型的 setupImageEmbedder() 函式中定義了模型： ImageEmbedderHelper.kt 檔案：

使用 BaseOptions.Builder.setModelAssetPath() 方法指定路徑 以便訓練模型此方法將在接下來 專區。

建立工作

您可以使用 createFromOptions 函式建立工作。 createFromOptions 函式接受設定選項，用來設定嵌入器 只要設定成「自動重新啟動」 和「在主機維護期間」選項即可如要進一步瞭解設定選項，請參閱設定 總覽。

圖片嵌入器工作支援 3 種輸入資料類型：靜態圖片、影片檔案、 和即時影像串流您必須指定相應的執行模式 輸入資料類型請選擇與 輸入資料類型，瞭解如何建立工作及執行推論。

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.IMAGE)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.VIDEO)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setResultListener((result, inputImage) -> {
         // Process the embedding result here.
    })
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

程式碼範例實作方式可讓使用者在處理程序之間切換 。這種方法使得工作建立程式碼變得更加複雜，可能不會 適合您的用途您可以在 setupImageEmbedder() 函式，用於 ImageEmbedderHelper.kt 檔案。

設定選項

這項工作有下列 Android 應用程式設定選項：

準備資料

Image Embedder 適用於圖片、影片檔案和直播影片。工作內容 處理資料輸入預先處理作業，包括調整大小、旋轉和值 以便處理正規化的情況

您需要將輸入圖片或影格轉換為 com.google.mediapipe.framework.image.MPImage 物件，然後再將該物件傳送至 圖片嵌入器工作。

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

在範例程式碼中，資料準備會在 ImageEmbedderHelper.kt 檔案。

執行工作

您可以呼叫與執行模式相對應的 embed 函式來觸發 推論出Image Embedder API 會傳回輸入的嵌入向量 圖片或外框

ImageEmbedderResult embedderResult = imageEmbedder.embed(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageEmbedderResult embedderResult =
    imageEmbedder.embedForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The embedding results will be available
// via the `resultListener` provided in the `ImageEmbedderOptions` when
// the image embedder was created.
imageEmbedder.embedAsync(image, frameTimestampMs);
    

注意事項：

• 以錄影模式或直播模式執行時，你也必須 提供輸入影格的時間戳記給 Image Embedder 工作。
• 以圖片或影片模式執行時，Image Embedder 工作會 封鎖目前的執行緒，直到處理完成輸入圖片， 相框。為避免封鎖目前的執行緒，請在 背景執行緒。
• 以直播模式執行時，Image Embedder 工作不會封鎖 但會立即傳回這會叫用結果 並傳送偵測結果 輸入影格如果在圖片嵌入器時呼叫 embedAsync 函式 工作正忙於處理另一個影格，工作會忽略新的輸入影格。

範例程式碼中定義了 embed 函式， ImageEmbedderHelper.kt 檔案。

處理及顯示結果

執行推論時，Image Embedder 工作會傳回 ImageEmbedderResult 內含嵌入清單 (浮點或 純量化)。

以下範例顯示這項工作的輸出資料範例：

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

此結果是嵌入下列圖片而得：

您可以使用 ImageEmbedder.cosineSimilarity 函式。請參閱下列程式碼，瞭解 範例。

// Compute cosine similarity.
double similarity = ImageEmbedder.cosineSimilarity(
  result.embeddingResult().embeddings().get(0),
  otherResult.embeddingResult().embeddings().get(0));