Panduan segmentasi gambar interaktif untuk Python

Tugas MediaPipe Interactive Image Segmenter mengambil lokasi dalam gambar, memperkirakan batas objek di lokasi tersebut, dan menampilkan segmentasi untuk objek sebagai gambar layanan otomatis dan data skalabel. Petunjuk ini menunjukkan cara menggunakan Segmentasi Gambar Interaktif dengan Python di bahasa target. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan konfigurasi opsi tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh untuk Segmentasi Gambar Interaktif menyediakan implementasi lengkap di Python untuk referensi Anda. Kode ini membantu Anda menguji tugas ini dan mendapatkan mulai membuat aplikasi segmentasi gambar interaktif Anda sendiri. Anda dapat melihat, menjalankan, dan mengedit Segmentasi Gambar Interaktif kode contoh hanya dengan menggunakan {i>browser<i} web.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project secara khusus untuk menggunakan Interactive Image Segmenter. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Python. Anda dapat meninjau kode sumber untuk contoh ini di GitHub

Paket

Tugas MediaPipe Interactive Image Segmenter memerlukan paket mediapipe. Anda dapat menginstal dependensi yang diperlukan dengan perintah berikut:

$ python -m pip install mediapipe

Impor

Impor class berikut untuk mengakses fungsi tugas Interactive Image Segmenter:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Model

Tugas Segmentasi Gambar Interaktif MediaPipe memerlukan model terlatih yang kompatibel dengan tugas Anda. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Segmentasi Gambar Interaktif, lihat bagian ringkasan tugas, yaitu Models.

Pilih dan download model, lalu simpan dalam direktori project Anda:

model_path = '/absolute/path/to/model.tflite'

Tentukan jalur model dalam parameter model_asset_path, seperti yang ditunjukkan di bawah ini:

base_options = BaseOptions(model_asset_path=model_path)

Membuat tugas

Tugas MediaPipe Interactive Image Segmenter menggunakan fungsi create_from_options untuk menyiapkan tugas. Fungsi create_from_options menerima nilai untuk menangani opsi konfigurasi. Untuk informasi selengkapnya tentang konfigurasi opsi, lihat Opsi konfigurasi. Kode berikut menunjukkan cara membangun dan mengonfigurasi tugas ini.

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Python:

Menyiapkan data

Siapkan input Anda sebagai file gambar atau array numpy, lalu konversikan menjadi objek mediapipe.Image.

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

Untuk contoh yang lebih lengkap terkait menjalankan inferensi Interactive Image Segmenter, lihat contoh kode.

Menangani dan menampilkan hasil

Hasil output untuk Interactive Image Segmenter adalah daftar data Image, dan dapat sertakan masker kategori, masker, atau keduanya, bergantung pada apa yang Anda tetapkan saat Anda mengonfigurasi tugas. Jika Anda menetapkan output_category_mask hingga True, output-nya adalah daftar yang berisi satu mask yang tersegmentasi sebagai gambar uint8. Nilai piksel menunjukkan apakah itu bagian dari di area yang diinginkan. indeks kategori gambar input yang dikenali. Jika Anda menyetel output_confidence_masks ke True, output-nya adalah daftar saluran berisi nilai piksel dalam rentang [0,1] yang mewakili keyakinan skor piksel milik objek di area yang diinginkan.

Bagian berikut menjelaskan lebih lanjut data output dari tugas ini:

Masker kategori

Gambar berikut menunjukkan visualisasi output tugas untuk suatu kategori mask nilai dengan area minat yang ditunjukkan. Setiap piksel adalah uint8 nilai yang menunjukkan apakah piksel adalah bagian dari objek yang terletak di area minat tertentu. Lingkaran hitam putih pada gambar kedua menunjukkan gambar yang dipilih area minat tertentu.

Output mask kategori dan gambar asli. Gambar sumber dari Pascal VOC 2012 set data.

Masker keyakinan

Output untuk samaran berisi nilai float antara [0, 1] untuk setiap saluran input gambar. Nilai yang lebih tinggi menunjukkan kepercayaan yang lebih tinggi bahwa piksel gambar adalah bagian dari objek yang terletak di area menarik.