隆重推出 LiteRT：Google 為裝置端 AI (舊稱 TensorFlow Lite) 打造的高效能執行階段。

本頁面由 Cloud Translation API 翻譯而成。

Android 圖片嵌入指南

MediaPipe Image Embedder 工作可讓您將圖片資料轉換成數字完成機器學習相關影像處理工作，例如比較兩個圖片的相似度。這些指示說明如何使用透過 Android 應用程式使用圖片嵌入程式。

進一步瞭解功能、模型和設定選項請參閱總覽。

程式碼範例

MediaPipe 工作範例程式碼是 Image Embedder 的簡易實作方式 App Engine 應用程式這個範例會使用實體 Android 裝置上的相機執行以下動作：持續嵌入圖片，也可對儲存的圖片檔執行嵌入程式應用程式。

您可以將應用程式做為起點，當做 Android 應用程式的起點，也可以參照應用程式做出決定Image Embedder 範例程式碼 GitHub。

下載程式碼

以下說明如何建立範例的本機副本 git 指令列工具編寫程式碼。

如要下載範例程式碼，請按照下列步驟操作：

使用下列指令複製 git 存放區：

git clone https://github.com/google-ai-edge/mediapipe-samples

您也可以設定 Git 執行個體來使用稀疏結帳功能，只有 Image Embedder 範例應用程式的檔案：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/image_embedder/android
```

建立範例程式碼的本機版本後，您可以匯入專案然後執行應用程式如需操作說明，請參閱 Android：

重要元件

下列檔案包含這個圖片嵌入器範例的重要程式碼應用程式：

ImageEmbedderHelper.kt：初始化圖片嵌入器並處理模型與委派。
MainActivity.kt：實作應用程式並組合使用者介面元件。

設定

本節說明設定開發環境的重要步驟，以及程式碼專案來使用 Image Embedder。如需設定使用 MediaPipe 工作 (包括平台版本) 的開發環境需求，請參閱設定指南 Android：

依附元件

Image Embedder 使用 com.google.mediapipe:tasks-vision 程式庫。新增此項目 Android 應用程式開發專案的 build.gradle 檔案的依附元件。使用下列程式碼匯入必要的依附元件：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型號

MediaPipe Image Embedder 工作需要與這項指令相容的已訓練模型工作。如要進一步瞭解圖片嵌入器可用的已訓練模型，請參閱：工作總覽的「模型」一節。

選取並下載模型，然後將模型儲存在專案目錄中：

<dev-project-root>/src/main/assets

在 ModelAssetPath 參數中指定模型的路徑。在模型的 setupImageEmbedder() 函式中定義了模型： ImageEmbedderHelper.kt 檔案：

使用 BaseOptions.Builder.setModelAssetPath() 方法指定路徑以便訓練模型此方法將在接下來專區。

建立工作

您可以使用 createFromOptions 函式建立工作。 createFromOptions 函式接受設定選項，用來設定嵌入器只要設定成「自動重新啟動」和「在主機維護期間」選項即可如要進一步瞭解設定選項，請參閱設定總覽。

圖片嵌入器工作支援 3 種輸入資料類型：靜態圖片、影片檔案、和即時影像串流您必須指定相應的執行模式輸入資料類型請選擇與輸入資料類型，瞭解如何建立工作及執行推論。

圖片

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.IMAGE)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);

影片

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.VIDEO)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);

直播

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setResultListener((result, inputImage) -> {
         // Process the embedding result here.
    })
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);

程式碼範例實作方式可讓使用者在處理程序之間切換。這種方法使得工作建立程式碼變得更加複雜，可能不會適合您的用途您可以在 setupImageEmbedder() 函式，用於 ImageEmbedderHelper.kt 檔案。

設定選項

這項工作有下列 Android 應用程式設定選項：

選項名稱	說明	值範圍	預設值
`runningMode`	設定任務的執行模式。在架構中模式：圖片：單一圖片輸入模式。 VIDEO：影片已解碼的影格模式。 LIVE_STREAM：輸入串流模式擷取的資訊等。在此模式下， resultListener 設定接聽程式來接收結果以非同步方式載入物件	{`IMAGE, VIDEO, LIVE_STREAM`}	`IMAGE`
`l2_normalize`	是否使用 L2 正規化將傳回的特徵向量正規化。只有在模型未包含原生參數的情況下，才能使用這個選項 L2_NORMALIZATION TFLite 運算。在大多數情況下，這是預設情況因此 L2 正規化會透過 TFLite 推論完成，完全不需這個選項。	`Boolean`	`False`
`quantize`	是否應透過以下方式，將傳回的嵌入量化為位元組：純量量化內嵌以隱含形式被假設為單位非因此，所有維度一定會有 [-1.0, 1.0] 的值。使用 l2_normalize 選項是如此。	`Boolean`	`False`
`resultListener`	設定結果監聽器來接收嵌入結果當 Image Embedder 出現在直播中時，以非同步方式模式。只有在執行模式設為「`LIVE_STREAM`」時才能使用	不適用	未設定
`errorListener`	設定選用的錯誤事件監聽器。	不適用	未設定

準備資料

Image Embedder 適用於圖片、影片檔案和直播影片。工作內容處理資料輸入預先處理作業，包括調整大小、旋轉和值以便處理正規化的情況

您需要將輸入圖片或影格轉換為 com.google.mediapipe.framework.image.MPImage 物件，然後再將該物件傳送至圖片嵌入器工作。

圖片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

影片

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();

在範例程式碼中，資料準備會在 ImageEmbedderHelper.kt 檔案。

執行工作

您可以呼叫與執行模式相對應的 embed 函式來觸發推論出Image Embedder API 會傳回輸入的嵌入向量圖片或外框

圖片

ImageEmbedderResult embedderResult = imageEmbedder.embed(image);

影片

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageEmbedderResult embedderResult =
    imageEmbedder.embedForVideo(image, frameTimestampMs);

直播

// Run inference on the frame. The embedding results will be available
// via the `resultListener` provided in the `ImageEmbedderOptions` when
// the image embedder was created.
imageEmbedder.embedAsync(image, frameTimestampMs);

注意事項：

以錄影模式或直播模式執行時，你也必須提供輸入影格的時間戳記給 Image Embedder 工作。
以圖片或影片模式執行時，Image Embedder 工作會封鎖目前的執行緒，直到處理完成輸入圖片，相框。為避免封鎖目前的執行緒，請在背景執行緒。
以直播模式執行時，Image Embedder 工作不會封鎖但會立即傳回這會叫用結果並傳送偵測結果輸入影格如果在圖片嵌入器時呼叫 embedAsync 函式工作正忙於處理另一個影格，工作會忽略新的輸入影格。

範例程式碼中定義了 embed 函式， ImageEmbedderHelper.kt 檔案。

處理及顯示結果

執行推論時，Image Embedder 工作會傳回 ImageEmbedderResult 內含嵌入清單 (浮點或純量化)。

以下範例顯示這項工作的輸出資料範例：

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

此結果是嵌入下列圖片而得：

您可以使用 ImageEmbedder.cosineSimilarity 函式。請參閱下列程式碼，瞭解範例。

// Compute cosine similarity.
double similarity = ImageEmbedder.cosineSimilarity(
  result.embeddingResult().embeddings().get(0),
  otherResult.embeddingResult().embeddings().get(0));