Tugas MediaPipe Interactive Image Segmenter mengambil lokasi dalam gambar, memperkirakan batas objek di lokasi tersebut, dan menampilkan segmentasi untuk objek sebagai data gambar. Petunjuk ini menunjukkan cara menggunakan Segmentasi Gambar Interaktif dengan bahasa Python. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.
Contoh kode
Kode contoh untuk Interactive Image Segmenter menyediakan implementasi lengkap tugas ini di Python sebagai referensi Anda. Kode ini membantu Anda menguji tugas ini dan mulai membangun aplikasi segmentasi gambar interaktif Anda sendiri. Anda dapat melihat, menjalankan, dan mengedit kode contoh Interactive Image Segmenter hanya menggunakan browser web.
Penyiapan
Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project khusus untuk menggunakan Interactive Image Segmenter. Untuk informasi umum tentang menyiapkan lingkungan pengembangan Anda untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Python. Anda dapat meninjau kode sumber untuk contoh ini di GitHub
Paket
Tugas MediaPipe Interactive Image Segmenter memerlukan paket mediapipe
. Anda dapat menginstal
dependensi yang diperlukan dengan perintah berikut:
$ python -m pip install mediapipe
Impor
Impor class berikut untuk mengakses fungsi tugas Interactive Image Segmenter:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Model
Tugas MediaPipe Interactive Image Segmenter memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Interactive Image Segmenter, lihat bagian Model ringkasan tugas.
Pilih dan download model, lalu simpan dalam direktori project:
model_path = '/absolute/path/to/model.tflite'
Tentukan jalur model dalam parameter model_asset_path
, seperti yang ditunjukkan di bawah:
base_options = BaseOptions(model_asset_path=model_path)
Membuat tugas
Tugas MediaPipe Interactive Image Segmenter menggunakan fungsi create_from_options
untuk
menyiapkan tugas. Fungsi create_from_options
menerima nilai untuk ditangani opsi konfigurasi. Untuk mengetahui informasi selengkapnya tentang opsi
konfigurasi, lihat Opsi konfigurasi.
Kode berikut menunjukkan cara membangun dan mengonfigurasi tugas ini.
BaseOptions = mp.tasks.BaseOptions InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a image segmenter instance with the image mode: options = InteractiveSegmenterOptions( base_options=BaseOptions(model_asset_path='/path/to/model.task'), running_mode=VisionRunningMode.IMAGE, output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK) with InteractiveSegmenter.create_from_options(options) as segmenter: # segmenter is initialized and ready to use
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Python:
Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
---|---|---|---|
output_category_mask |
Jika ditetapkan ke True , output-nya akan menyertakan mask segmentasi sebagai gambar uint8, dengan setiap nilai piksel menunjukkan apakah piksel tersebut merupakan bagian dari objek yang terletak di area yang diinginkan. |
{True, False } |
False |
output_confidence_masks |
Jika ditetapkan ke True , output akan menyertakan mask segmentasi sebagai gambar nilai float, dengan setiap nilai float mewakili keyakinan bahwa piksel adalah bagian dari objek yang terletak di area yang diinginkan. |
{True, False } |
True |
display_names_locale |
Menetapkan bahasa label yang akan digunakan untuk nama tampilan yang diberikan dalam
metadata model tugas, jika tersedia. Defaultnya adalah en untuk bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API
| Kode lokal | id |
Menyiapkan data
Siapkan input Anda sebagai file gambar atau array numpy, lalu konversikan menjadi objek mediapipe.Image
.
# Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Untuk contoh kode yang menunjukkan persiapan data untuk Interactive Image Segmenter, lihat contoh kode.
Menjalankan tugas
Interactive Image Segmenter menggunakan fungsi segment
untuk memicu inferensi. Untuk segmentasi
gambar, hal ini mencakup pra-pemrosesan data input, menjalankan model segmentasi,
dan pasca-pemrosesan output model mentah ke mask yang tersegmentasi.
Contoh kode berikut menunjukkan cara menjalankan pemrosesan dengan model tugas.
RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest # Perform image segmentation on the provided single image. # The image segmenter must be created with the image mode. roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT, keypoint=NormalizedKeypoint(x, y)) segmented_masks = segmenter.segment(mp_image, roi)
Untuk contoh yang lebih lengkap dalam menjalankan inferensi Interactive Image Segmenter, lihat contoh kode.
Menangani dan menampilkan hasil
Hasil output untuk Interactive Image Segmenter adalah daftar data Image
, dan dapat
menyertakan mask kategori, mask keyakinan, atau keduanya, bergantung pada apa yang Anda tetapkan
saat Anda mengonfigurasi tugas. Jika Anda menetapkan output_category_mask
ke True
, output-nya adalah daftar yang berisi satu mask tersegmentasi sebagai image uint8. Nilai piksel menunjukkan apakah merupakan bagian dari
objek pada area minat. indeks kategori gambar input yang dikenali. Jika
Anda menetapkan output_confidence_masks
ke True
, output-nya adalah daftar saluran
yang berisi nilai piksel dalam rentang [0,1]
yang mewakili skor keyakinan
piksel yang merupakan milik objek di area minat.
Bagian berikut menjelaskan lebih lanjut data output dari tugas ini:
Mask kategori
Gambar berikut menunjukkan visualisasi output tugas untuk value mask
kategori dengan area lokasi menarik yang ditunjukkan. Setiap piksel adalah nilai uint8
yang menunjukkan apakah piksel tersebut merupakan bagian dari objek yang terletak di area
minat. Lingkaran hitam putih pada gambar kedua menunjukkan area minat yang dipilih.
Output mask kategori dan gambar asli. Gambar sumber dari set data Pascal VOC 2012.
Topeng kepercayaan diri
Output untuk trust mask berisi nilai float antara [0, 1]
untuk
setiap saluran input gambar. Nilai yang lebih tinggi menunjukkan keyakinan yang lebih tinggi bahwa
piksel gambar adalah bagian dari objek yang terletak pada area minat.