Panduan penyematan gambar untuk Android

Tugas MediaPipe Image Embedder memungkinkan Anda mengonversi data gambar menjadi representasi numerik untuk menyelesaikan tugas pemrosesan gambar terkait ML, seperti membandingkan kesamaan dari dua gambar. Petunjuk ini menampilkan cara menggunakan Penyemat Gambar dengan aplikasi Android.

Untuk mengetahui informasi selengkapnya terkait kemampuan, model, dan opsi konfigurasi. tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh Tugas MediaPipe adalah implementasi sederhana dari Image Embedder untuk Android. Contoh ini menggunakan kamera perangkat Android fisik untuk menyematkan gambar secara terus-menerus, dan juga dapat menjalankan sematan pada file gambar yang disimpan di perangkat.

Anda dapat menggunakan aplikasi ini sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke sana saat memodifikasi aplikasi yang ada. Kode contoh Image Embedder dihosting di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari contoh kode menggunakan alat command line git.

Untuk mendownload kode contoh:

1. Clone repositori git menggunakan perintah berikut:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Secara opsional, konfigurasikan instance git Anda untuk menggunakan checkout sparse, sehingga Anda memiliki hanya file untuk aplikasi contoh Image Embedder:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_embedder/android
   

Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk petunjuk, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk contoh sematan gambar ini aplikasi:

• ImageEmbedderHelper.kt: Melakukan inisialisasi sematan gambar serta menangani model dan delegasi pilihan.
• MainActivity.kt: Mengimplementasikan aplikasi dan menyusun komponen antarmuka pengguna.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project untuk menggunakan Image Embedder. Untuk informasi umum tentang penyiapan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk versi platform persyaratan, lihat Panduan penyiapan untuk Android.

Dependensi

Image Embedder menggunakan library com.google.mediapipe:tasks-vision. Tambahkan ini dependensi terhadap file build.gradle project pengembangan aplikasi Android Anda. Impor dependensi yang diperlukan dengan kode berikut:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas MediaPipe Image Embedder memerlukan model terlatih yang kompatibel dengan tugas Anda. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Image Embedder, lihat ringkasan tugas bagian Model.

Pilih dan download model, lalu simpan dalam direktori project Anda:

<dev-project-root>/src/main/assets

Tentukan jalur model dalam parameter ModelAssetPath. Di kolom kode contoh, model ditentukan dalam fungsi setupImageEmbedder() di ImageEmbedderHelper.kt file:

Gunakan metode BaseOptions.Builder.setModelAssetPath() untuk menetapkan jalur yang digunakan oleh model. Metode ini dirujuk dalam contoh kode di bagian berikutnya bagian.

Membuat tugas

Anda dapat menggunakan fungsi createFromOptions untuk membuat tugas. Tujuan Fungsi createFromOptions menerima opsi konfigurasi untuk menyetel sematan lainnya. Untuk informasi selengkapnya mengenai opsi konfigurasi, lihat Konfigurasi Ringkasan.

Tugas Image Embedder mendukung 3 jenis data input: gambar diam, file video, dan streaming video live. Anda perlu menentukan mode berjalan yang sesuai dengan tipe data input Anda saat membuat tugas. Pilih tab yang sesuai dengan tipe data input Anda untuk melihat cara membuat tugas dan menjalankan inferensi.

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.IMAGE)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.VIDEO)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setResultListener((result, inputImage) -> {
         // Process the embedding result here.
    })
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

Penerapan kode contoh memungkinkan pengguna beralih antar-pemrosesan mode. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini di fungsi setupImageEmbedder() dalam ImageEmbedderHelper.kt .

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Menyiapkan data

Image Embedder berfungsi dengan gambar, file video, dan video live stream. Tugas menangani pra-pemrosesan input data, termasuk mengubah ukuran, rotasi, dan nilai proses normalisasi.

Anda harus mengonversi gambar atau bingkai input menjadi com.google.mediapipe.framework.image.MPImage sebelum meneruskannya ke Tugas Penyemat Gambar.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Dalam kode contoh, persiapan data ditangani di ImageEmbedderHelper.kt .

Menjalankan tugas

Anda dapat memanggil fungsi embed yang sesuai dengan mode berlari untuk memicu inferensi. Image Embedder API menampilkan vektor embedding untuk input gambar atau bingkai.

ImageEmbedderResult embedderResult = imageEmbedder.embed(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageEmbedderResult embedderResult =
    imageEmbedder.embedForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The embedding results will be available
// via the `resultListener` provided in the `ImageEmbedderOptions` when
// the image embedder was created.
imageEmbedder.embedAsync(image, frameTimestampMs);
    

Perhatikan hal berikut:

• Saat dalam mode video atau mode live stream, Anda juga harus memberikan stempel waktu {i>frame<i} input ke tugas {i>Image Embedder<i}.
• Saat dijalankan dalam mode gambar atau video, tugas Penyemat Gambar akan memblokir utas saat ini hingga selesai memproses gambar input atau {i>frame<i}. Untuk menghindari pemblokiran thread saat ini, jalankan pemrosesan dalam di thread latar belakang.
• Saat berjalan dalam mode live stream, tugas Penyemat Gambar tidak akan diblokir thread saat ini tetapi langsung kembali. Fungsi ini akan memanggil hasilnya dengan hasil deteksi setiap kali pemroses selesai memproses frame input. Jika fungsi embedAsync dipanggil saat Penyemat Gambar sedang sibuk memproses {i>frame<i} lain, tugas tersebut mengabaikan {i>frame<i} input baru.

Dalam kode contoh, fungsi embed ditentukan di bagian ImageEmbedderHelper.kt .

Menangani dan menampilkan hasil

Setelah menjalankan inferensi, tugas Image Embedder akan menampilkan ImageEmbedderResult yang berisi daftar embedding (baik floating point maupun terkuantisasi skalar) untuk gambar input.

Berikut ini contoh data output dari tugas ini:

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

Hasil ini diperoleh dengan menyematkan gambar berikut:

Anda dapat membandingkan kesamaan dua embedding menggunakan Fungsi ImageEmbedder.cosineSimilarity. Lihat kode berikut untuk contoh.

// Compute cosine similarity.
double similarity = ImageEmbedder.cosineSimilarity(
  result.embeddingResult().embeddings().get(0),
  otherResult.embeddingResult().embeddings().get(0));