Tugas MediaPipe Interactive Image Segmenter mengambil lokasi dalam gambar, memperkirakan batas objek di lokasi tersebut, dan menampilkan segmentasi untuk objek sebagai data gambar. Petunjuk ini menunjukkan cara menggunakan Segmentasi Gambar Interaktif dengan aplikasi Android. Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.
Contoh kode
Contoh kode Tugas MediaPipe adalah implementasi sederhana aplikasi Interactive Image Segmenter untuk Android. Contoh ini berfungsi dengan gambar yang dipilih dari galeri perangkat.
Anda dapat menggunakan aplikasi sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke aplikasi tersebut saat memodifikasi aplikasi yang sudah ada. Kode contoh Interactive Image Segmenter dihosting di GitHub.
Mendownload kode
Petunjuk berikut menunjukkan cara membuat salinan lokal dari kode contoh menggunakan alat command line git.
Untuk mendownload kode contoh:
- Clone repositori git menggunakan perintah berikut:
git clone https://github.com/google-ai-edge/mediapipe-samples
- Secara opsional, konfigurasikan instance git untuk menggunakan checkout sparse,
sehingga Anda hanya memiliki file untuk aplikasi contoh Interactive Image Segmenter:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/interactive_segmentation/android
Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mengetahui petunjuknya, lihat Panduan Penyiapan untuk Android.
Komponen utama
File berikut berisi kode penting untuk aplikasi contoh segmentasi gambar ini:
- InteractiveSegmentationHelper.kt - Melakukan inisialisasi tugas Interactive Image Segmenter dan menangani pemilihan model dan delegasi.
- OverlayView.kt - Menangani dan memformat hasil segmentasi.
Penyiapan
Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project untuk menggunakan Interactive Image Segmenter. Untuk informasi umum tentang menyiapkan lingkungan pengembangan Anda untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.
Dependensi
Interactive Image Segmenter menggunakan library com.google.mediapipe:tasks-vision
. Tambahkan
dependensi ini ke file build.gradle
dari
project pengembangan aplikasi Android Anda. Impor dependensi yang diperlukan dengan
kode berikut:
dependencies {
...
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Model
Tugas MediaPipe Interactive Image Segmenter memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Interactive Image Segmenter, lihat bagian Model ringkasan tugas.
Pilih dan download model, lalu simpan dalam direktori project:
<dev-project-root>/src/main/assets
Gunakan metode BaseOptions.Builder.setModelAssetPath()
untuk menentukan jalur yang digunakan oleh model. Metode ini ditunjukkan dalam contoh kode di bagian
berikutnya.
Dalam kode contoh Segmentasi Gambar Interaktif,
model ditentukan dalam class InteractiveSegmenterHelper.kt
dalam fungsi setupInteractiveSegmenter()
.
Membuat tugas
Anda dapat menggunakan fungsi createFromOptions
untuk membuat tugas. Fungsi createFromOptions
menerima opsi konfigurasi termasuk jenis output mask. Untuk mengetahui informasi selengkapnya tentang opsi
konfigurasi, lihat Ringkasan Konfigurasi.
InteractiveSegmenterOptions options = InteractiveSegmenterOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setOutputCategoryMask(true) .setOutputConfidenceMasks(false) .setResultListener((result, inputImage) -> { // Process the segmentation result here. }) .setErrorListener(exception -> { // Process the segmentation errors here. }) .build(); interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);
Untuk contoh yang lebih detail tentang menyiapkan tugas ini, lihat
fungsi setupInteractiveSegmenter()
class InteractiveSegmenterHelper
.
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:
Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
---|---|---|---|
outputCategoryMask |
Jika ditetapkan ke True , output-nya akan menyertakan mask segmentasi sebagai gambar uint8, dengan setiap nilai piksel menunjukkan apakah piksel tersebut merupakan bagian dari objek yang terletak di area yang diinginkan. |
{True, False } |
False |
outputConfidenceMasks |
Jika ditetapkan ke True , output akan menyertakan mask segmentasi sebagai gambar nilai float, dengan setiap nilai float mewakili keyakinan bahwa piksel adalah bagian dari objek yang terletak di area yang diinginkan. |
{True, False } |
True |
displayNamesLocale |
Menetapkan bahasa label yang akan digunakan untuk nama tampilan yang diberikan dalam
metadata model tugas, jika tersedia. Defaultnya adalah en untuk bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API
| Kode lokal | id |
errorListener |
Menetapkan pemroses error opsional. | T/A | Tidak ditetapkan |
Menyiapkan data
Interactive Image Segmenter berfungsi dengan gambar, dan tugas ini menangani pra-pemrosesan input data, termasuk pengubahan ukuran, rotasi, dan normalisasi nilai.
Anda harus mengonversi gambar input menjadi
objek com.google.mediapipe.framework.image.MPImage
sebelum meneruskannya ke
tugas.
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load an image on the user’s device as a Bitmap object using BitmapFactory. // Convert an Android’s Bitmap object to a MediaPipe’s Image object. MPImage mpImage = new BitmapImageBuilder(bitmap).build();
Dalam kode contoh Interactive Image Segmenter, persiapan data ditangani di
class InteractiveSegmenterHelper
oleh fungsi segment()
.
Menjalankan tugas
Panggil fungsi segment
untuk menjalankan prediksi dan menghasilkan segmen.
Tugas Interactive Image Segmenter menampilkan area segmen yang diidentifikasi dalam
gambar input.
RegionOfInterest roi = RegionOfInterest.create( NormalizedKeypoint.create( normX * it.width, normY * it.height ) ); ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);
Dalam kode contoh Interactive Image Segmenter, fungsi segment
ditentukan dalam
file
InteractiveSegmenterHelper.kt
.
Menangani dan menampilkan hasil
Setelah menjalankan inferensi, tugas Interactive Image Segmenter menampilkan
objek ImageSegmenterResult
yang berisi hasil
tugas segmentasi. Konten output dapat mencakup mask kategori,
confidence mask, atau keduanya, bergantung pada apa yang Anda tetapkan saat
mengonfigurasi tugas.
Bagian berikut menjelaskan lebih lanjut data output dari tugas ini:
Mask kategori
Gambar berikut menunjukkan visualisasi output tugas untuk value mask
kategori dengan area lokasi menarik yang ditunjukkan. Setiap piksel adalah nilai uint8
yang menunjukkan apakah piksel tersebut merupakan bagian dari objek yang terletak di area
minat. Lingkaran hitam putih pada gambar kedua menunjukkan area minat yang dipilih.
Output mask kategori dan gambar asli. Gambar sumber dari set data Pascal VOC 2012.
Topeng kepercayaan diri
Output untuk trust mask berisi nilai float antara [0, 1]
untuk
setiap saluran input gambar. Nilai yang lebih tinggi menunjukkan keyakinan yang lebih tinggi bahwa
piksel gambar adalah bagian dari objek yang terletak pada area minat.