Panduan segmentasi gambar interaktif untuk Android

Tugas MediaPipe Interactive Image Segmenter mengambil lokasi dalam gambar, memperkirakan batas objek di lokasi tersebut, dan menampilkan segmentasi untuk objek sebagai data gambar. Petunjuk ini menunjukkan cara menggunakan Segmentasi Gambar Interaktif dengan aplikasi Android. Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.

Contoh kode

Contoh kode Tugas MediaPipe adalah implementasi sederhana aplikasi Interactive Image Segmenter untuk Android. Contoh ini berfungsi dengan gambar yang dipilih dari galeri perangkat.

Anda dapat menggunakan aplikasi sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke aplikasi tersebut saat memodifikasi aplikasi yang sudah ada. Kode contoh Interactive Image Segmenter dihosting di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari kode contoh menggunakan alat command line git.

Untuk mendownload kode contoh:

  1. Clone repositori git menggunakan perintah berikut: 
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. Secara opsional, konfigurasikan instance git untuk menggunakan checkout sparse, sehingga Anda hanya memiliki file untuk aplikasi contoh Interactive Image Segmenter: 
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/interactive_segmentation/android

Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mengetahui petunjuknya, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk aplikasi contoh segmentasi gambar ini:

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project untuk menggunakan Interactive Image Segmenter. Untuk informasi umum tentang menyiapkan lingkungan pengembangan Anda untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Interactive Image Segmenter menggunakan library com.google.mediapipe:tasks-vision. Tambahkan dependensi ini ke file build.gradle dari project pengembangan aplikasi Android Anda. Impor dependensi yang diperlukan dengan kode berikut:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas MediaPipe Interactive Image Segmenter memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Interactive Image Segmenter, lihat bagian Model ringkasan tugas.

Pilih dan download model, lalu simpan dalam direktori project:

<dev-project-root>/src/main/assets

Gunakan metode BaseOptions.Builder.setModelAssetPath() untuk menentukan jalur yang digunakan oleh model. Metode ini ditunjukkan dalam contoh kode di bagian berikutnya.

Dalam kode contoh Segmentasi Gambar Interaktif, model ditentukan dalam class InteractiveSegmenterHelper.kt dalam fungsi setupInteractiveSegmenter().

Membuat tugas

Anda dapat menggunakan fungsi createFromOptions untuk membuat tugas. Fungsi createFromOptions menerima opsi konfigurasi termasuk jenis output mask. Untuk mengetahui informasi selengkapnya tentang opsi konfigurasi, lihat Ringkasan Konfigurasi.

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

Untuk contoh yang lebih detail tentang menyiapkan tugas ini, lihat fungsi setupInteractiveSegmenter() class InteractiveSegmenterHelper.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Nama Opsi Deskripsi Rentang Nilai Nilai Default
outputCategoryMask Jika ditetapkan ke True, output-nya akan menyertakan mask segmentasi sebagai gambar uint8, dengan setiap nilai piksel menunjukkan apakah piksel tersebut merupakan bagian dari objek yang terletak di area yang diinginkan. {True, False} False
outputConfidenceMasks Jika ditetapkan ke True, output akan menyertakan mask segmentasi sebagai gambar nilai float, dengan setiap nilai float mewakili keyakinan bahwa piksel adalah bagian dari objek yang terletak di area yang diinginkan. {True, False} True
displayNamesLocale Menetapkan bahasa label yang akan digunakan untuk nama tampilan yang diberikan dalam metadata model tugas, jika tersedia. Defaultnya adalah en untuk bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API Kode lokal id
errorListener Menetapkan pemroses error opsional. T/A Tidak ditetapkan

Menyiapkan data

Interactive Image Segmenter berfungsi dengan gambar, dan tugas ini menangani pra-pemrosesan input data, termasuk pengubahan ukuran, rotasi, dan normalisasi nilai. Anda harus mengonversi gambar input menjadi objek com.google.mediapipe.framework.image.MPImage sebelum meneruskannya ke tugas.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

Dalam kode contoh Interactive Image Segmenter, persiapan data ditangani di class InteractiveSegmenterHelper oleh fungsi segment().

Menjalankan tugas

Panggil fungsi segment untuk menjalankan prediksi dan menghasilkan segmen. Tugas Interactive Image Segmenter menampilkan area segmen yang diidentifikasi dalam gambar input.

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

Dalam kode contoh Interactive Image Segmenter, fungsi segment ditentukan dalam file InteractiveSegmenterHelper.kt.

Menangani dan menampilkan hasil

Setelah menjalankan inferensi, tugas Interactive Image Segmenter menampilkan objek ImageSegmenterResult yang berisi hasil tugas segmentasi. Konten output dapat mencakup mask kategori, confidence mask, atau keduanya, bergantung pada apa yang Anda tetapkan saat mengonfigurasi tugas.

Bagian berikut menjelaskan lebih lanjut data output dari tugas ini:

Mask kategori

Gambar berikut menunjukkan visualisasi output tugas untuk value mask kategori dengan area lokasi menarik yang ditunjukkan. Setiap piksel adalah nilai uint8 yang menunjukkan apakah piksel tersebut merupakan bagian dari objek yang terletak di area minat. Lingkaran hitam putih pada gambar kedua menunjukkan area minat yang dipilih.

Output mask kategori dan gambar asli. Gambar sumber dari set data Pascal VOC 2012.

Topeng kepercayaan diri

Output untuk trust mask berisi nilai float antara [0, 1] untuk setiap saluran input gambar. Nilai yang lebih tinggi menunjukkan keyakinan yang lebih tinggi bahwa piksel gambar adalah bagian dari objek yang terletak pada area minat.