Panduan segmentasi gambar untuk Android

Tugas Segmentasi Gambar MediaPipe memungkinkan Anda membagi gambar ke dalam wilayah berdasarkan kategori untuk menerapkan efek visual seperti pemburaman latar belakang. Ini petunjuk menunjukkan cara menggunakan Segmentasi Gambar dengan aplikasi Android. Kode contoh yang dijelaskan dalam petunjuk ini tersedia di GitHub. Untuk mengetahui informasi selengkapnya terkait kemampuan, model, dan opsi konfigurasi. tugas ini, lihat Ringkasan.

Contoh kode

Contoh kode MediaPipe Tasks berisi dua implementasi sederhana dari Aplikasi Segmentasi Gambar untuk Android:

• Segmentasi Gambar dengan mask kategori
• Segmentasi Gambar dengan penyamaran

Contoh tersebut menggunakan kamera pada perangkat Android fisik untuk melakukan segmentasi gambar pada feed kamera live, atau Anda dapat memilih gambar video dari galeri perangkat. Anda dapat menggunakan aplikasi sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke sana saat memodifikasi aplikasi yang ada. Tujuan Kode contoh Segmentasi Gambar dihosting di GitHub.

Bagian berikut merujuk pada Segmentasi Gambar dengan mask kategori .

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari contoh kode menggunakan alat command line git.

Untuk mendownload kode contoh:

1. Clone repositori git menggunakan perintah berikut:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Secara opsional, konfigurasikan instance git Anda untuk menggunakan checkout sparse, sehingga Anda hanya memiliki file untuk aplikasi contoh Image Segmenter:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/android
   

Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mendapatkan petunjuk, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk gambar ini aplikasi contoh segmentasi:

• ImageSegmenterHelper.kt - Melakukan inisialisasi tugas Image Segmenter serta menangani model dan delegasi pilihan.
• CameraFragment.kt - Menyediakan antarmuka pengguna dan kode kontrol untuk kamera.
• GalleryFragment.kt - Menyediakan antarmuka pengguna dan kode kontrol untuk memilih gambar dan video .
• OverlayView.kt - Menangani dan memformat hasil segmentasi.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan project kode untuk menggunakan Segmentasi Gambar. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Segmentasi Gambar menggunakan library com.google.mediapipe:tasks-vision. Tambahkan ini dependensi ke file build.gradle dari Project pengembangan aplikasi Android. Impor dependensi yang dibutuhkan dengan kode berikut:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas MediaPipe Image Segmenter memerlukan model terlatih yang kompatibel dengan tugas Anda. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Segmentasi Gambar, lihat ringkasan tugas bagian Model.

Pilih dan download model, lalu simpan dalam direktori project Anda:

<dev-project-root>/src/main/assets

Gunakan metode BaseOptions.Builder.setModelAssetPath() untuk menetapkan jalur yang digunakan oleh model. Metode ini dirujuk dalam contoh kode di bagian berikutnya bagian.

Di Segmentasi Gambar kode contoh, model ini ditentukan di class ImageSegmenterHelper.kt di fungsi setupImageSegmenter().

Membuat tugas

Anda dapat menggunakan fungsi createFromOptions untuk membuat tugas. Tujuan Fungsi createFromOptions menerima opsi konfigurasi, termasuk output mask jenis datanya. Untuk informasi selengkapnya tentang konfigurasi tugas, lihat Opsi konfigurasi.

Tugas Segmentasi Gambar mendukung jenis data input berikut: gambar diam, file video, dan streaming video live. Anda harus menentukan mode lari sesuai dengan tipe data input Anda saat membuat tugas. Pilih tab untuk jenis data input Anda guna melihat cara membuat tugas tersebut.

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

Penerapan kode contoh Segmentasi Gambar memungkinkan pengguna beralih antar mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini di ImageSegmenterHelper oleh fungsi setupImageSegmenter().

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Menyiapkan data

Segmentasi Gambar berfungsi dengan gambar, file video, dan video live stream. Tugas menangani pra-pemrosesan input data, termasuk mengubah ukuran, rotasi, dan nilai proses normalisasi.

Anda harus mengonversi gambar atau bingkai input menjadi Objek com.google.mediapipe.framework.image.MPImage sebelum meneruskannya ke Segmentasi Gambar.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Dalam kode contoh Segmentasi Gambar, persiapan data ditangani di ImageSegmenterHelper oleh fungsi segmentLiveStreamFrame().

Menjalankan tugas

Anda memanggil fungsi segment yang berbeda berdasarkan mode lari yang Anda gunakan. Fungsi Segmentasi Gambar menampilkan wilayah segmen yang diidentifikasi dalam gambar atau bingkai input.

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

Perhatikan hal berikut:

• Saat dalam mode video atau mode live stream, Anda juga harus memberikan stempel waktu {i>frame<i} input ke tugas {i>Image Segmenter<i}.
• Saat berjalan dalam mode gambar atau video, tugas Segmentasi Gambar memblokir utas saat ini hingga selesai memproses gambar input atau {i>frame<i}. Untuk menghindari pemblokiran antarmuka pengguna, jalankan pemrosesan dalam di thread latar belakang.
• Saat berjalan dalam mode live stream, tugas Segmentasi Gambar tidak memblokir thread saat ini tetapi langsung kembali. Fungsi ini akan memanggil hasilnya dengan hasil deteksi setiap kali pemroses selesai memproses frame input. Jika fungsi segmentAsync dipanggil saat Segmentasi Gambar sedang sibuk memproses {i>frame<i} lain, tugas tersebut mengabaikan {i>frame<i} input baru.

Dalam kode contoh Segmentasi Gambar, fungsi segment ditentukan di bagian ImageSegmenterHelper.kt .

Menangani dan menampilkan hasil

Setelah menjalankan inferensi, tugas Segmentasi Gambar akan menampilkan ImageSegmenterResult yang berisi hasil tugas segmentasi. Isi output bergantung pada outputType yang Anda tetapkan saat mengonfigurasi tugas.

Bagian berikut menunjukkan contoh data output dari tugas ini:

Tingkat keyakinan kategori

Gambar berikut menunjukkan visualisasi output tugas untuk suatu kategori masker untuk kepercayaan diri. Output samaran berisi nilai float antara [0, 1].

Output masker keyakinan kategori dan gambar asli. Gambar sumber dari Pascal VOC 2012 set data.

Nilai kategori

Gambar berikut menunjukkan visualisasi output tugas untuk suatu kategori mask nilai. Rentang mask kategori adalah [0, 255] dan setiap nilai piksel mewakili indeks kategori pemenang dari output model. Kategori pemenang memiliki skor tertinggi di antara kategori yang dapat dikenali model.

Output mask kategori dan gambar asli. Gambar sumber dari Pascal VOC 2012 set data.