Android 圖片嵌入指南

MediaPipe Image Embedder 工作可讓您將圖片資料轉換成數字 完成機器學習相關影像處理工作,例如比較 兩個圖片的相似度。這些指示說明如何使用 透過 Android 應用程式使用圖片嵌入程式。

進一步瞭解功能、模型和設定選項 請參閱總覽

程式碼範例

MediaPipe 工作範例程式碼是 Image Embedder 的簡易實作方式 App Engine 應用程式這個範例會使用實體 Android 裝置上的相機執行以下動作: 持續嵌入圖片,也可對儲存的圖片檔執行嵌入程式 應用程式。

您可以將應用程式做為起點,當做 Android 應用程式的起點,也可以參照應用程式 做出決定Image Embedder 範例程式碼 GitHub

下載程式碼

以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。

如要下載範例程式碼,請按照下列步驟操作:

  1. 使用下列指令複製 git 存放區:
    git clone https://github.com/google-ai-edge/mediapipe-samples
    
  2. 您也可以設定 Git 執行個體來使用稀疏結帳功能, 只有 Image Embedder 範例應用程式的檔案:
    cd mediapipe
    git sparse-checkout init --cone
    git sparse-checkout set examples/image_embedder/android
    

建立範例程式碼的本機版本後,您可以匯入專案 然後執行應用程式如需操作說明,請參閱 Android

重要元件

下列檔案包含這個圖片嵌入器範例的重要程式碼 應用程式:

設定

本節說明設定開發環境的重要步驟,以及 程式碼專案來使用 Image Embedder。如需設定 使用 MediaPipe 工作 (包括平台版本) 的開發環境 需求,請參閱設定指南 Android

依附元件

Image Embedder 使用 com.google.mediapipe:tasks-vision 程式庫。新增此項目 Android 應用程式開發專案的 build.gradle 檔案的依附元件。 使用下列程式碼匯入必要的依附元件:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Image Embedder 工作需要與這項指令相容的已訓練模型 工作。如要進一步瞭解圖片嵌入器可用的已訓練模型,請參閱: 工作總覽的「模型」一節

選取並下載模型,然後將模型儲存在專案目錄中:

<dev-project-root>/src/main/assets

ModelAssetPath 參數中指定模型的路徑。在 模型的 setupImageEmbedder() 函式中定義了模型: ImageEmbedderHelper.kt 檔案:

使用 BaseOptions.Builder.setModelAssetPath() 方法指定路徑 以便訓練模型此方法將在接下來 專區。

建立工作

您可以使用 createFromOptions 函式建立工作。 createFromOptions 函式接受設定選項,用來設定嵌入器 只要設定成「自動重新啟動」 和「在主機維護期間」選項即可如要進一步瞭解設定選項,請參閱設定 總覽

圖片嵌入器工作支援 3 種輸入資料類型:靜態圖片、影片檔案、 和即時影像串流您必須指定相應的執行模式 輸入資料類型請選擇與 輸入資料類型,瞭解如何建立工作及執行推論。

圖片

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.IMAGE)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

影片

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.VIDEO)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

直播

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setResultListener((result, inputImage) -> {
         // Process the embedding result here.
    })
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

程式碼範例實作方式可讓使用者在處理程序之間切換 。這種方法使得工作建立程式碼變得更加複雜,可能不會 適合您的用途您可以在 setupImageEmbedder() 函式,用於 ImageEmbedderHelper.kt 檔案。

設定選項

這項工作有下列 Android 應用程式設定選項:

選項名稱 說明 值範圍 預設值
runningMode 設定任務的執行模式。在架構中 模式:

圖片:單一圖片輸入模式。

VIDEO:影片已解碼的影格模式。

LIVE_STREAM:輸入串流模式 擷取的資訊等。在此模式下, resultListener 設定接聽程式來接收結果 以非同步方式載入物件
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
l2_normalize 是否使用 L2 正規化將傳回的特徵向量正規化。 只有在模型未包含原生參數的情況下,才能使用這個選項 L2_NORMALIZATION TFLite 運算。在大多數情況下,這是預設情況 因此 L2 正規化會透過 TFLite 推論完成,完全不需 這個選項。 Boolean False
quantize 是否應透過以下方式,將傳回的嵌入量化為位元組: 純量量化內嵌以隱含形式被假設為單位非 因此,所有維度一定會有 [-1.0, 1.0] 的值。使用 l2_normalize 選項是如此。 Boolean False
resultListener 設定結果監聽器來接收嵌入結果 當 Image Embedder 出現在直播中時,以非同步方式 模式。只有在執行模式設為「LIVE_STREAM」時才能使用 不適用 未設定
errorListener 設定選用的錯誤事件監聽器。 不適用 未設定

準備資料

Image Embedder 適用於圖片、影片檔案和直播影片。工作內容 處理資料輸入預先處理作業,包括調整大小、旋轉和值 以便處理正規化的情況

您需要將輸入圖片或影格轉換為 com.google.mediapipe.framework.image.MPImage 物件,然後再將該物件傳送至 圖片嵌入器工作。

圖片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

影片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

在範例程式碼中,資料準備會在 ImageEmbedderHelper.kt 檔案。

執行工作

您可以呼叫與執行模式相對應的 embed 函式來觸發 推論出Image Embedder API 會傳回輸入的嵌入向量 圖片或外框

圖片

ImageEmbedderResult embedderResult = imageEmbedder.embed(image);
    

影片

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageEmbedderResult embedderResult =
    imageEmbedder.embedForVideo(image, frameTimestampMs);
    

直播


// Run inference on the frame. The embedding results will be available
// via the `resultListener` provided in the `ImageEmbedderOptions` when
// the image embedder was created.
imageEmbedder.embedAsync(image, frameTimestampMs);
    

注意事項:

  • 以錄影模式或直播模式執行時,你也必須 提供輸入影格的時間戳記給 Image Embedder 工作。
  • 以圖片或影片模式執行時,Image Embedder 工作會 封鎖目前的執行緒,直到處理完成輸入圖片, 相框。為避免封鎖目前的執行緒,請在 背景執行緒。
  • 以直播模式執行時,Image Embedder 工作不會封鎖 但會立即傳回這會叫用結果 並傳送偵測結果 輸入影格如果在圖片嵌入器時呼叫 embedAsync 函式 工作正忙於處理另一個影格,工作會忽略新的輸入影格。

範例程式碼中定義了 embed 函式, ImageEmbedderHelper.kt 檔案。

處理及顯示結果

執行推論時,Image Embedder 工作會傳回 ImageEmbedderResult 內含嵌入清單 (浮點或 純量化)。

以下範例顯示這項工作的輸出資料範例:

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

此結果是嵌入下列圖片而得:

您可以使用 ImageEmbedder.cosineSimilarity 函式。請參閱下列程式碼,瞭解 範例。

// Compute cosine similarity.
double similarity = ImageEmbedder.cosineSimilarity(
  result.embeddingResult().embeddings().get(0),
  otherResult.embeddingResult().embeddings().get(0));