Tugas Segmentasi Gambar memungkinkan Anda membagi gambar ke dalam wilayah berdasarkan kategori, dan menerapkan efek visual seperti pemburaman latar belakang. Ini petunjuk menunjukkan cara menggunakan Segmentasi Gambar dengan aplikasi iOS.
Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub.
Anda dapat melihat cara kerja tugas ini dengan membuka demo. Untuk mengetahui informasi selengkapnya terkait kemampuan, model, dan opsi konfigurasi. tugas ini, lihat Ringkasan.
Contoh kode
Contoh kode MediaPipe Tasks berisi implementasi sederhana dari Aplikasi Image Segmenter untuk iOS.
Contoh ini menerapkan pengelompok gambar yang menghasilkan mask kategori. Model ini menggunakan kamera pada perangkat iOS fisik untuk melakukan segmentasi gambar saat live feed kamera, atau gambar dan video dari galeri perangkat.
Anda dapat menggunakan aplikasi ini sebagai titik awal untuk aplikasi iOS Anda sendiri, atau merujuk ke sana saat memodifikasi aplikasi yang ada. Kode contoh Segmentasi Gambar dihosting di GitHub.
Mendownload kode
Petunjuk berikut menunjukkan cara membuat salinan lokal dari contoh kode menggunakan alat command line git.
Untuk mendownload kode contoh:
Clone repositori git menggunakan perintah berikut:
git clone https://github.com/google-ai-edge/mediapipe-samples/
Secara opsional, konfigurasikan instance git Anda untuk menggunakan checkout sparse, sehingga Anda memiliki hanya file untuk aplikasi contoh Image Segmenter:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/image_segmentation/ios/
Setelah membuat versi lokal dari kode contoh, Anda dapat menginstal Library tugas MediaPipe, buka project menggunakan Xcode dan jalankan aplikasi. Sebagai lihat Panduan Penyiapan untuk iOS.
Komponen utama
File berikut berisi kode penting untuk contoh Image Segmenter aplikasi:
- ImageSegmenterService.swift: Melakukan inisialisasi Segmentasi Gambar, menangani pemilihan model, dan menjalankan inferensi pada data input.
- CameraViewController.swift: Menerapkan UI untuk mode input feed kamera live dan memvisualisasikan hasil pengujian tersebut.
- MediaLibraryViewController.swift Mengimplementasikan UI untuk mode input file video dan gambar diam dan memvisualisasikan hasilnya.
Penyiapan
Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan project kode untuk menggunakan Segmentasi Gambar. Untuk informasi umum tentang penyiapan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk versi platform persyaratan, lihat Panduan penyiapan untuk iOS.
Dependensi
Image Segmenter menggunakan library MediaPipeTasksVision
, yang harus diinstal
menggunakan CocoaPods. Library ini kompatibel dengan aplikasi Swift dan Objective-C
dan tidak memerlukan penyiapan tambahan khusus bahasa.
Untuk petunjuk menginstal CocoaPods di macOS, lihat CocoaPods
panduan pemasangan kami.
Untuk mendapatkan petunjuk cara membuat Podfile
dengan pod yang diperlukan untuk
aplikasi, lihat Menggunakan
CocoaPods.
Tambahkan pod MediaPipeTasksVision di Podfile
menggunakan kode berikut:
target 'MyImageSegmenterApp' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
Jika aplikasi Anda menyertakan target pengujian unit, lihat Panduan Penyiapan untuk
iOS untuk informasi tambahan terkait penyiapan
Podfile
Anda.
Model
Tugas MediaPipe Image Segmenter memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk informasi lebih lanjut tentang model terlatih yang tersedia Segmentasi Gambar, lihat ringkasan tugas Model bagian.
Pilih dan download model, lalu tambahkan ke direktori project Anda menggunakan Xcode. Untuk instruksi tentang cara menambahkan file ke proyek Xcode Anda, lihat Mengelola dan folder di Xcode Anda project Anda.
Gunakan properti BaseOptions.modelAssetPath
untuk menentukan jalur ke model
dalam app bundle Anda. Untuk contoh kode, lihat bagian berikutnya.
Membuat tugas
Anda dapat membuat tugas Image Segmenter dengan memanggil salah satu penginisialisasinya. Tujuan
Penginisialisasi ImageSegmenter(options:)
menerima nilai untuk konfigurasi
lainnya.
Jika Anda tidak memerlukan Segmentasi Gambar yang diinisialisasi dengan konfigurasi yang disesuaikan
Anda dapat menggunakan penginisialisasi ImageSegmenter(modelPath:)
untuk membuat
Segmentasi Gambar dengan opsi default. Untuk informasi selengkapnya tentang konfigurasi
opsi, lihat Ringkasan Konfigurasi.
Tugas Segmentasi Gambar mendukung 3 jenis data input: file video, gambar diam
dan streaming video live. Secara default, ImageSegmenter(modelPath:)
menginisialisasi
untuk gambar diam. Jika Anda ingin tugas Anda diinisialisasi untuk memproses video
file atau streaming video live, gunakan ImageSegmenter(options:)
untuk menentukan video
atau livestream berjalan. Mode livestream juga memerlukan
opsi konfigurasi imageSegmenterLiveStreamDelegate
, yang memungkinkan
Segmentasi Gambar untuk memberikan hasil segmentasi gambar kepada penerima delegasi
secara asinkron.
Pilih tab yang sesuai dengan mode lari Anda untuk melihat cara membuat tugas dan menjalankan inferensi.
Swift
Gambar
import MediaPipeTasksVision let modelPath = Bundle.main.path(forResource: "model", ofType: "tflite") let options = ImageSegmenterOptions() options.baseOptions.modelAssetPath = modelPath options.runningMode = .image options.shouldOutputCategoryMask = true options.shouldOutputConfidenceMasks = false let imageSegmenter = try ImageSegmenter(options: options)
Video
import MediaPipeTasksVision let modelPath = Bundle.main.path(forResource: "model", ofType: "tflite") let options = ImageSegmenterOptions() options.baseOptions.modelAssetPath = modelPath options.runningMode = .video options.shouldOutputCategoryMask = true options.shouldOutputConfidenceMasks = false let imageSegmenter = try ImageSegmenter(options: options)
Livestream
import MediaPipeTasksVision // Class that conforms to the `imageSegmenterLiveStreamDelegate` protocol and // implements the method that the image segmenter calls once it finishes // performing segmentation of each input frame. class ImageSegmenterResultProcessor: NSObject, ImageSegmenterLiveStreamDelegate { func imageSegmenter( _ imageSegmenter: ImageSegmenter, didFinishSegmentation result: ImageSegmenterResult?, timestampInMilliseconds: Int, error: Error?) { // Process the image segmentation result or errors here. } } let modelPath = Bundle.main.path(forResource: "model", ofType: "tflite") let options = ImageSegmenterOptions() options.baseOptions.modelAssetPath = modelPath options.runningMode = .liveStream options.shouldOutputCategoryMask = true options.shouldOutputConfidenceMasks = false // Set `imageSegmenterLiveStreamDelegate` to the object of the class that // confirms to the `ImageSegmenterLiveStreamDelegate` protocol. let processor = ImageSegmenterResultProcessor() options.imageSegmenterLiveStreamDelegate = processor let imageSegmenter = try ImageSegmenter(options: options)
Objective-C
Gambar
@import MediaPipeTasksVision; NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model" ofType:@"tflite"]; MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init]; options.baseOptions.modelAssetPath = modelPath; options.runningMode = MPPRunningModeImage; options.shouldOutputCategoryMask = YES; options.shouldOutputConfidenceMasks = NO; MPPImageSegmenter *imageSegmenter = [[MPPImageSegmenter alloc] initWithOptions:options error:nil];
Video
@import MediaPipeTasksVision; NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model" ofType:@"tflite"]; MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init]; options.baseOptions.modelAssetPath = modelPath; options.runningMode = MPPRunningModeVideo; options.shouldOutputCategoryMask = YES; options.shouldOutputConfidenceMasks = NO; MPPImageSegmenter *imageSegmenter = [[MPPImageSegmenter alloc] initWithOptions:options error:nil];
Livestream
@import MediaPipeTasksVision; // Class that conforms to the `MPPImageSegmenterLiveStreamDelegate` protocol // and implements the method that the image segmenter calls once it finishes // performing segmentation of each input frame. @interface APPImageSegmenterResultProcessor : NSObject@end @implementation APPImageSegmenterResultProcessor - (void)imageSegmenter:(MPPImageSegmenter *)imageSegmenter didFinishSegmentationWithResult:(MPPImageSegmenterResult *)imageSegmenterResult timestampInMilliseconds:(NSInteger)timestampInMilliseconds error:(NSError *)error { // Process the image segmentation result or errors here. } @end NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model" ofType:@"tflite"]; MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init]; options.baseOptions.modelAssetPath = modelPath; options.runningMode = MPPRunningModeLiveStream; options.shouldOutputCategoryMask = YES; options.shouldOutputConfidenceMasks = NO; // Set `imageSegmenterLiveStreamDelegate` to the object of the class that // confirms to the `MPPImageSegmenterLiveStreamDelegate` protocol. APPImageSegmenterResultProcessor *processor = [APPImageSegmenterResultProcessor new]; options.imageSegmenterLiveStreamDelegate = processor; MPPImageSegmenter *imageSegmenter = [[MPPImageSegmenter alloc] initWithOptions:options error:nil];
Penerapan kode contoh Segmentasi Gambar memungkinkan pengguna beralih antar mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan mungkin tidak sesuai untuk kasus penggunaan Anda.
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi iOS:
Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
---|---|---|---|
runningMode |
Menetapkan mode berjalan untuk tugas. Ada tiga
moda: IMAGE: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk live stream input besar, seperti dari kamera. Dalam mode ini, ImageSegmenterLiveStreamDelegate
harus disetel ke instance class yang mengimplementasikan
ImageSegmenterLiveStreamDelegate untuk menerima segmentasi
secara asinkron.
|
{RunningMode.image, RunningMode.video, RunningMode.liveStream } |
RunningMode.image |
shouldOutputCategoryMask |
Jika ditetapkan ke True , output akan menyertakan mask segmentasi
sebagai gambar uint8, dengan setiap nilai piksel menunjukkan kategori pemenang
dengan sejumlah nilai. |
{True, False } |
False |
shouldOutputConfidenceMasks |
Jika ditetapkan ke True , output akan menyertakan mask segmentasi
sebagai gambar nilai {i>float<i}, dengan setiap nilai {i>float<i} mewakili tingkat keyakinan
skor kategori kategori. |
{True, False } |
True |
displayNamesLocale |
Menyetel bahasa label yang akan digunakan untuk nama tampilan yang diberikan di
metadata model tugas, jika tersedia. Defaultnya adalah en untuk
Bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom
menggunakan TensorFlow Lite Metadata Writer API |
Kode lokal | id |
result_callback |
Menetapkan pemroses hasil untuk menerima hasil segmentasi
secara asinkron saat pembagi gambar berada dalam mode LIVE_STREAM .
Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM |
T/A | T/A |
Jika mode lari disetel ke LIVE_STREAM
, Segmentasi Gambar memerlukan
opsi konfigurasi tambahan imageSegmenterLiveStreamDelegate
, yang
memungkinkan Image Segmenter memberikan hasil segmentasi gambar secara asinkron.
Delegasi harus mengimplementasikan
Metode imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:)
,
yang dipanggil oleh Segmentasi Gambar setelah memproses hasil menjalankan
segmentasi pada setiap {i>frame<i}.
Nama opsi | Deskripsi | Rentang Nilai | Nilai Default |
---|---|---|---|
imageSegmenterLiveStreamDelegate |
Mengaktifkan Segmentasi Gambar untuk menerima hasil penayangan gambar
segmentasi secara asinkron dalam mode livestream. Class yang instance-nya
yang ditetapkan ke properti ini harus menerapkan
imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:)
. |
Tidak berlaku | Tidak ditetapkan |
Menyiapkan data
Anda harus mengonversi gambar atau bingkai input menjadi objek MPImage
sebelum
meneruskannya ke Segmentasi Gambar. MPImage
mendukung berbagai jenis image iOS
format, dan dapat menggunakannya dalam mode
berjalan apa pun untuk inferensi. Untuk selengkapnya
informasi tentang MPImage
, lihat
MPImage API
Pilih format gambar iOS berdasarkan kasus penggunaan dan mode lari yang
aplikasi diperlukan.MPImage
menerima UIImage
, CVPixelBuffer
, dan
CMSampleBuffer
Format gambar iOS.
UIImage
Format UIImage
sangat cocok untuk mode berjalan berikut:
Gambar: gambar dari app bundle, galeri pengguna, atau sistem file yang diformat sebagai Gambar
UIImage
dapat dikonversi menjadi objekMPImage
.Video: menggunakan AVAssetImageGenerator untuk mengekstrak frame video ke CGImage baru, lalu konversikan menjadi gambar
UIImage
.
Swift
// Load an image on the user's device as an iOS `UIImage` object. // Convert the `UIImage` object to a MediaPipe's Image object having the default // orientation `UIImage.Orientation.up`. let image = try MPImage(uiImage: image)
Objective-C
// Load an image on the user's device as an iOS `UIImage` object. // Convert the `UIImage` object to a MediaPipe's Image object having the default // orientation `UIImageOrientationUp`. MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
Contoh ini menginisialisasi MPImage
dengan
UIImage.Orientation.Up
orientasi. Anda dapat menginisialisasi MPImage
dengan metode
UIImage.Orientation
masing-masing. Segmentasi Gambar tidak mendukung orientasi yang dicerminkan seperti .upMirrored
,
.downMirrored
, .leftMirrored
, .rightMirrored
.
Untuk informasi selengkapnya tentang UIImage
, lihat UIImage Apple Developer
Dokumentasi.
CVPixelBuffer
Format CVPixelBuffer
sangat cocok untuk aplikasi yang membuat frame
dan menggunakan CoreImage iOS
untuk pemrosesan.
Format CVPixelBuffer
sangat cocok untuk mode berjalan berikut:
Gambar: aplikasi yang membuat gambar
CVPixelBuffer
setelah beberapa pemrosesan yang menggunakan frameworkCoreImage
iOS dapat dikirim ke Segmentasi Gambar di mode image running.Video: frame video dapat dikonversi ke format
CVPixelBuffer
untuk diproses, lalu dikirim ke Image Segmenter dalam mode video.livestream: aplikasi yang menggunakan kamera iOS untuk membuat frame dapat dikonversi ke dalam format
CVPixelBuffer
untuk diproses sebelum dikirim ke Segmentasi Gambar dalam mode livestream.
Swift
// Obtain a CVPixelBuffer. // Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the default // orientation `UIImage.Orientation.up`. let image = try MPImage(pixelBuffer: pixelBuffer)
Objective-C
// Obtain a CVPixelBuffer. // Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the // default orientation `UIImageOrientationUp`. MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
Untuk informasi selengkapnya tentang CVPixelBuffer
, lihat CVPixelBuffer Apple
Pengembang
Dokumentasi.
CMSampleBuffer
Format CMSampleBuffer
menyimpan sampel media dari jenis media yang seragam, dan
sangat cocok untuk mode livestream yang sedang berjalan. {i>Live frame<i} dari kamera iOS
dikirim secara asinkron dalam format CMSampleBuffer
oleh iOS
AVCaptureVideoDataOutput.
Swift
// Obtain a CMSampleBuffer. // Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the default // orientation `UIImage.Orientation.up`. let image = try MPImage(sampleBuffer: sampleBuffer)
Objective-C
// Obtain a `CMSampleBuffer`. // Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the // default orientation `UIImageOrientationUp`. MPImage *image = [[MPPImage alloc] initWithSampleBuffer:sampleBuffer error:nil];
Untuk informasi selengkapnya tentang CMSampleBuffer
, lihat CMSampleBuffer Apple
Pengembang
Dokumentasi.
Menjalankan tugas
Untuk menjalankan Segmentasi Gambar, gunakan metode segment()
khusus untuk segmen yang ditetapkan
mode lari:
- Gambar diam:
segment(image:)
- Video:
segment(videoFrame:timestampInMilliseconds:)
- Livestream:
segmentAsync(image:timestampInMilliseconds:)
Contoh kode berikut menunjukkan contoh sederhana tentang cara menjalankan Segmentasi Gambar di mode lari yang berbeda:
Swift
Gambar
let result = try imageSegmenter.segment(image: image)
Video
let result = try imageSegmenter.segment( videoFrame: image, timestampInMilliseconds: timestamp)
Live stream
try imageSegmenter.segmentAsync( image: image, timestampInMilliseconds: timestamp)
Objective-C
Gambar
MPPImageSegmenterResult *result = [imageSegmenter segmentImage:image error:nil];
Video
MPPImageSegmenterResult *result = [imageSegmenter segmentVideoFrame:image timestampInMilliseconds:timestamp error:nil];
Live stream
BOOL success = [imageSegmenter segmentAsyncImage:image timestampInMilliseconds:timestamp error:nil];
Contoh kode Segmentasi Gambar menunjukkan implementasi setiap mode ini
secara lebih detail segment(image:)
,
segment(videoFrame:timestampInMilliseconds:)
dan
segmentAsync(image:timestampInMilliseconds:)
.
Perhatikan hal berikut:
Saat berjalan dalam mode video atau mode live stream, Anda juga harus menyediakan stempel waktu frame input ke tugas Image Segmenter.
Saat berjalan dalam mode gambar atau video, tugas Segmentasi Gambar memblokir thread saat ini hingga selesai memproses gambar atau bingkai input. Kepada menghindari pemblokiran thread saat ini, jalankan pemrosesan di latar belakang thread menggunakan iOS Dispatch atau NSOperation framework.
Saat berjalan dalam mode live stream, tugas Segmentasi Gambar segera ditampilkan dan tidak memblokir thread saat ini. Fungsi ini memanggil
imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:)
dengan pengiris gambar setelah memproses setiap bingkai input. Tujuan Segmentasi Gambar memanggil metode ini secara asinkron pada rangkaian khusus antrean pengiriman. Untuk menampilkan hasil pada antarmuka pengguna, kirim hasil ke antrean utama setelah memproses hasilnya. Jika FungsisegmentAsync
dipanggil saat tugas Segmentasi Gambar sedang sibuk memproses bingkai lain, Segmentasi Gambar mengabaikan bingkai input baru.
Menangani dan menampilkan hasil
Setelah menjalankan inferensi, tugas Segmentasi Gambar akan menampilkan ImageSegmenterResult
yang berisi hasil tugas segmentasi. Isi
output bergantung pada jenis output yang Anda setel saat
dikonfigurasi
menyelesaikan tugas tersebut.
Gambar berikut menunjukkan visualisasi output tugas untuk suatu kategori
{i>value mask<i}. Rentang mask kategori adalah [0, 255]
dan setiap nilai piksel
mewakili indeks kategori pemenang dari output model. Kategori pemenang
memiliki skor tertinggi di antara kategori yang dapat dikenali model.
Output mask kategori dan gambar asli. Gambar sumber dari Pascal VOC 2012 set data.
Kode contoh Segmentasi Gambar menunjukkan cara menampilkan Segmentasi Gambar hasil, lihat kode contoh untuk mengetahui detailnya.