מדריך לפילוח תמונות ב-iOS

במשימה 'פילוח תמונות' אפשר לחלק תמונות לאזורים על סמך קטגוריות מוגדרות מראש, ולהשתמש באפקטים חזותיים כמו טשטוש רקע. ההוראות הבאות מסבירות איך להשתמש בפילוח התמונות באפליקציות ל-iOS.

דוגמת הקוד שמתוארת בהוראות האלה זמינה ב-GitHub.

אפשר לראות את המשימה הזו בהדגמה של האינטרנט. מידע נוסף על היכולות, המודלים והאפשרויות להגדרה של המשימה הזו זמין בסקירה הכללית.

קוד לדוגמה

דוגמת הקוד של MediaPipe Tasks מכילה הטמעה פשוטה של אפליקציה לחלוקת תמונות לקטעים ל-iOS.

בדוגמה הזו מיושם כלי פילוח של תמונות שמפיק מסכות של קטגוריות. התכונה משתמשת במצלמה של מכשיר iOS פיזי כדי לבצע פילוח תמונות בפיד של מצלמה פעילה או בתמונות ובסרטונים מהגלריה של המכשיר.

אפשר להשתמש באפליקציה כנקודת התחלה לאפליקציית iOS משלכם, או להיעזר בה כשמשנים אפליקציה קיימת. הקוד לדוגמה של 'פילוח תמונות' מתארח ב-GitHub.

מורידים את הקוד

בהוראות הבאות מוסבר איך ליצור עותק מקומי של קוד הדוגמה באמצעות הכלי של שורת הפקודה git.

כדי להוריד את הקוד לדוגמה:

1. משכפלים את מאגר ה-Git באמצעות הפקודה הבאה:

   git clone https://github.com/google-ai-edge/mediapipe-samples/
   

2. אפשר גם להגדיר את מכונה של git לשימוש ב-sparse checkout, כך שיישארו רק הקבצים של אפליקציית הדוגמה Image Segmenter:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/ios/
   

אחרי שיוצרים גרסה מקומית של קוד הדוגמה, אפשר להתקין את ספריית המשימות של MediaPipe, לפתוח את הפרויקט באמצעות Xcode ולהפעיל את האפליקציה. להוראות, אפשר לעיין במדריך ההגדרה ל-iOS.

רכיבים מרכזיים

הקבצים הבאים מכילים את הקוד החשוב לאפליקציית הדוגמה של Image Segmenter:

• ImageSegmenterService.swift: הפונקציה הזו מפעילה את Image Segmenter, מטפלת בבחירת המודל ומריצה את ההסקה על נתוני הקלט.
• CameraViewController.swift: מטמיע את ממשק המשתמש עבור מצב הקלט של פיד המצלמה בשידור חי ומציג את התוצאות באופן חזותי.
• MediaLibraryViewController.swift מטמיע את ממשק המשתמש עבור מצב קלט תמונה ווידאו סטילס ומציג את התוצאות באופן ויזואלי.

הגדרה

בקטע הזה מתוארים השלבים העיקריים להגדרת סביבת הפיתוח ופרויקטי הקוד לשימוש ב-Image Segmenter. מידע כללי על הגדרת סביבת הפיתוח לשימוש במשימות של MediaPipe, כולל דרישות לגבי גרסת הפלטפורמה, זמין במדריך ההגדרה ל-iOS.

יחסי תלות

הספרייה MediaPipeTasksVision משמשת את הכלי לחלוקת תמונות למקטעים, וצריך להתקין אותה באמצעות CocoaPods. הספרייה תואמת גם לאפליקציות Swift ו-Objective-C ואין צורך בהגדרות נוספות שקשורות לשפה.

הוראות להתקנת CocoaPods ב-macOS מפורטות במדריך להתקנת CocoaPods. במאמר שימוש ב-CocoaPods מוסבר איך ליצור Podfile עם ה-Pods שדרושים לאפליקציה.

מוסיפים את הרצף של MediaPipeTasksVision ב-Podfile באמצעות הקוד הבא:

target 'MyImageSegmenterApp' do
  use_frameworks!
  pod 'MediaPipeTasksVision'
end

אם האפליקציה כוללת יעדי בדיקת יחידה, תוכלו לעיין במדריך ההגדרה ל-iOS כדי לקבל מידע נוסף על הגדרת Podfile.

דגם

למשימה 'פילוח תמונות של MediaPipe' נדרש מודל מאומן שתואם למשימה הזו. מידע נוסף על המודלים המאומנים הזמינים ל-Image Segmenter זמין בקטע 'מודלים' בסקירה הכללית של המשימה.

בוחרים מודל ומורידים אותו, ומוסיפים אותו לספריית הפרויקט באמצעות Xcode. הוראות להוספת קבצים לפרויקט ב-Xcode מפורטות במאמר ניהול קבצים ותיקיות בפרויקט ב-Xcode.

השתמשו במאפיין BaseOptions.modelAssetPath כדי לציין את הנתיב למודל בקובץ האפליקציה. דוגמה לקוד מופיעה בקטע הבא.

יצירת המשימה

כדי ליצור את המשימה 'פילוח תמונות', צריך להפעיל את אחד מהמפעילים שלה. ה-initializer של ImageSegmenter(options:) מקבל ערכים לאפשרויות ההגדרה.

אם אתם לא צריכים שירות לפילוח תמונות שמאותחל עם אפשרויות תצורה בהתאמה אישית, תוכלו להשתמש במחולל ImageSegmenter(modelPath:) כדי ליצור שירות לפילוח תמונות עם אפשרויות ברירת המחדל. מידע נוסף על אפשרויות ההגדרה זמין במאמר סקירה כללית על הגדרות.

במשימה 'פילוח תמונות' יש 3 סוגים של נתוני קלט: תמונות סטילס, קובצי וידאו ושידורים חיים. כברירת מחדל, ImageSegmenter(modelPath:) מאתחל משימה עבור תמונות סטילס. אם רוצים שהמשימה תאופס לעיבוד קובצי וידאו או סטרימינג של וידאו בשידור חי, צריך להשתמש ב-ImageSegmenter(options:) כדי לציין את מצב ההפעלה של הסרטון או השידור החי. כדי להשתמש במצב של שידור חי, צריך גם להגדיר את האפשרות הנוספת imageSegmenterLiveStreamDelegate, שמאפשרת ל-Image Segmenter לספק את תוצאות פילוח התמונות למשתמש המורשה באופן אסינכרוני.

בוחרים את הכרטיסייה שמתאימה למצב ההפעלה כדי לראות איך יוצרים את המשימה ומפעילים את ההסקה.

Swift

import MediaPipeTasksVision

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "tflite")

let options = ImageSegmenterOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .image
options.shouldOutputCategoryMask = true
options.shouldOutputConfidenceMasks = false

let imageSegmenter = try ImageSegmenter(options: options)
    

import MediaPipeTasksVision

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "tflite")

let options = ImageSegmenterOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .video
options.shouldOutputCategoryMask = true
options.shouldOutputConfidenceMasks = false

let imageSegmenter = try ImageSegmenter(options: options)
    

import MediaPipeTasksVision

// Class that conforms to the `imageSegmenterLiveStreamDelegate` protocol and
// implements the method that the image segmenter calls once it finishes
// performing segmentation of each input frame.
class ImageSegmenterResultProcessor: NSObject, ImageSegmenterLiveStreamDelegate {

  func imageSegmenter(
    _ imageSegmenter: ImageSegmenter,
    didFinishSegmentation result: ImageSegmenterResult?,
    timestampInMilliseconds: Int,
    error: Error?) {

    // Process the image segmentation result or errors here.

  }
}

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "tflite")

let options = ImageSegmenterOptions()
options.baseOptions.modelAssetPath = modelPath
options.runningMode = .liveStream
options.shouldOutputCategoryMask = true
options.shouldOutputConfidenceMasks = false

// Set `imageSegmenterLiveStreamDelegate` to the object of the class that
// confirms to the `ImageSegmenterLiveStreamDelegate` protocol.
let processor = ImageSegmenterResultProcessor()
options.imageSegmenterLiveStreamDelegate = processor

let imageSegmenter = try ImageSegmenter(options: options)
    

Objective-C

@import MediaPipeTasksVision;

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model"
                                                      ofType:@"tflite"];

MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeImage;
options.shouldOutputCategoryMask = YES;
options.shouldOutputConfidenceMasks = NO;

MPPImageSegmenter *imageSegmenter =
  [[MPPImageSegmenter alloc] initWithOptions:options error:nil];
    

@import MediaPipeTasksVision;

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model"
                                                      ofType:@"tflite"];

MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeVideo;
options.shouldOutputCategoryMask = YES;
options.shouldOutputConfidenceMasks = NO;

MPPImageSegmenter *imageSegmenter =
  [[MPPImageSegmenter alloc] initWithOptions:options error:nil];
    

@import MediaPipeTasksVision;

// Class that conforms to the `MPPImageSegmenterLiveStreamDelegate` protocol
// and implements the method that the image segmenter calls once it finishes
// performing segmentation of each input frame.

@interface APPImageSegmenterResultProcessor : NSObject 

@end

@implementation APPImageSegmenterResultProcessor

-   (void)imageSegmenter:(MPPImageSegmenter *)imageSegmenter
    didFinishSegmentationWithResult:(MPPImageSegmenterResult *)imageSegmenterResult
         timestampInMilliseconds:(NSInteger)timestampInMilliseconds
                           error:(NSError *)error {

    // Process the image segmentation result or errors here.

}

@end

NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model"
                                                      ofType:@"tflite"];

MPPImageSegmenterOptions *options = [[MPPImageSegmenterOptions alloc] init];
options.baseOptions.modelAssetPath = modelPath;
options.runningMode = MPPRunningModeLiveStream;
options.shouldOutputCategoryMask = YES;
options.shouldOutputConfidenceMasks = NO;

// Set `imageSegmenterLiveStreamDelegate` to the object of the class that
// confirms to the `MPPImageSegmenterLiveStreamDelegate` protocol.
APPImageSegmenterResultProcessor *processor =
  [APPImageSegmenterResultProcessor new];
options.imageSegmenterLiveStreamDelegate = processor;

MPPImageSegmenter *imageSegmenter =
  [[MPPImageSegmenter alloc] initWithOptions:options error:nil];
    

הטמעת הקוד לדוגמה של Image Segmenter מאפשרת למשתמש לעבור בין מצבי העיבוד. הגישה הזו הופכת את הקוד ליצירת משימה למורכב יותר ויכול להיות שהוא לא יתאים לתרחיש לדוגמה שלכם.

אפשרויות הגדרה

למשימה הזו יש את אפשרויות התצורה הבאות לאפליקציות ל-iOS:

כשמגדירים את סטטוס ההפעלה ל-LIVE_STREAM, נדרש ל-Image Segmenter את אפשרות התצורה הנוספת imageSegmenterLiveStreamDelegate, שמאפשרת ל-Image Segmenter לספק תוצאות של חלוקת תמונות באופן אסינכרוני. האובייקט שמייצג את המשתמש צריך להטמיע את השיטה imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:), שנקראת על ידי הכלי לחלוקת תמונות לאחר עיבוד התוצאות של חלוקת כל פריים.

הכנת הנתונים

צריך להמיר את התמונה או את המסגרת של הקלט לאובייקט MPImage לפני שמעבירים אותם ל-Image Segmenter. MPImage תומך בסוגים שונים של פורמטים של תמונות ב-iOS, וניתן להשתמש בהם בכל מצב ריצה לצורך הסקת מסקנות. למידע נוסף על MPImage, אפשר לעיין במאמר MPImage API.

בוחרים את פורמט התמונה ל-iOS בהתאם לתרחיש לדוגמה ולמצב ההפעלה שנדרש לאפליקציה. MPImage תומך בפורמטים של תמונות ל-iOS‏ UIImage,‏ CVPixelBuffer ו-CMSampleBuffer.

UIImage

הפורמט UIImage מתאים במיוחד למצבי ההפעלה הבאים:

• תמונות: אפשר להמיר תמונות מחבילת אפליקציות, מגלריית משתמשים או ממערכת קבצים בפורמט UIImage לאובייקט MPImage.

• סרטונים: משתמשים ב-AVAssetImageGenerator כדי לחלץ פריימים של סרטונים לפורמט CGImage, ולאחר מכן ממירים אותם לתמונות UIImage.

// Load an image on the user's device as an iOS `UIImage` object.

// Convert the `UIImage` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(uiImage: image)
    

// Load an image on the user's device as an iOS `UIImage` object.

// Convert the `UIImage` object to a MediaPipe's Image object having the default
// orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
    

בדוגמה מתבצעת אתחול של MPImage עם כיוון ברירת המחדל UIImage.Orientation.Up. אפשר לאתחל MPImage עם כל אחד מהערכים הנתמכים של UIImage.Orientation. הכלי לפילוח תמונות לא תומך בכיוונים מוחזרים כמו .upMirrored,‏ .downMirrored, ‏ .leftMirrored, ‏ .rightMirrored.

מידע נוסף על UIImage זמין במסמכי התיעוד למפתחים של Apple בנושא UIImage.

CVPixelBuffer

הפורמט CVPixelBuffer מתאים מאוד לאפליקציות שיוצרות פריימים ומשתמשים במסגרת CoreImage של iOS.

הפורמט CVPixelBuffer מתאים במיוחד למצבי ההפעלה הבאים:

• תמונות: אפליקציות שיוצרות תמונות CVPixelBuffer אחרי עיבוד מסוים באמצעות מסגרת CoreImage של iOS יכולות להישלח ל-Image Segmenter במצב ההפעלה של התמונה.

• סרטונים: אפשר להמיר את הפריימים של הסרטון לפורמט CVPixelBuffer לצורך עיבוד, ולאחר מכן לשלוח אותם לכלי לחלוקת תמונות במצב וידאו.

• שידור חי: יכול להיות שאפליקציות שמשתמשות במצלמת iOS כדי ליצור פריימים יומרו לפורמט CVPixelBuffer לצורך עיבוד לפני שהן נשלחות ל-Image Segmenter במצב של שידור חי.

// Obtain a CVPixelBuffer.

// Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(pixelBuffer: pixelBuffer)
    

// Obtain a CVPixelBuffer.

// Convert the `CVPixelBuffer` object to a MediaPipe's Image object having the
// default orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithUIImage:image error:nil];
    

מידע נוסף על CVPixelBuffer זמין במסמכי התיעוד למפתחים של CVPixelBuffer Apple.

CMSampleBuffer

בפורמט CMSampleBuffer מאוחסנות דגימות מדיה מסוג מדיה אחיד, והוא מתאים במיוחד למצב ההפעלה של שידור חי. פריימים בשידור חי ממצלמות iOS מועברים באופן אסינכרוני בפורמט CMSampleBuffer על ידי AVCaptureVideoDataOutput של iOS.

// Obtain a CMSampleBuffer.

// Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the default
// orientation `UIImage.Orientation.up`.
let image = try MPImage(sampleBuffer: sampleBuffer)
    

// Obtain a `CMSampleBuffer`.

// Convert the `CMSampleBuffer` object to a MediaPipe's Image object having the
// default orientation `UIImageOrientationUp`.
MPImage *image = [[MPPImage alloc] initWithSampleBuffer:sampleBuffer error:nil];
    

מידע נוסף על CMSampleBuffer זמין במסמכי התיעוד למפתחים של CMSampleBuffer Apple.

הרצת המשימה

כדי להריץ את הכלי לפילוח תמונות, משתמשים בשיטה segment() שמותאמת למצב ההפעלה שהוקצה:

• תמונה סטטית: segment(image:)
• סרטון: segment(videoFrame:timestampInMilliseconds:)
• צפייה בשידור חי: segmentAsync(image:timestampInMilliseconds:)

בדוגמאות הקוד הבאות מפורטות דוגמאות פשוטות להפעלת הכלי לחלוקת תמונות למקטעים במצבי ההפעלה השונים:

Swift

let result = try imageSegmenter.segment(image: image)
    

let result = try imageSegmenter.segment(
  videoFrame: image,
  timestampInMilliseconds: timestamp)
    

try imageSegmenter.segmentAsync(
  image: image,
  timestampInMilliseconds: timestamp)
    

Objective-C

MPPImageSegmenterResult *result =
  [imageSegmenter segmentImage:image error:nil];
    

MPPImageSegmenterResult *result =
  [imageSegmenter segmentVideoFrame:image
            timestampInMilliseconds:timestamp
                              error:nil];
    

BOOL success =
  [imageSegmenter segmentAsyncImage:image
            timestampInMilliseconds:timestamp
                              error:nil];
    

בדוגמה לקוד של 'פילוח תמונות' מפורטות ההטמעות של כל אחד מהמצבים האלה segment(image:),‏ segment(videoFrame:timestampInMilliseconds:) ו-segmentAsync(image:timestampInMilliseconds:).

שימו לב לנקודות הבאות:

• כשמפעילים במצב וידאו או במצב שידור חי, צריך גם לציין את חותמת הזמן של מסגרת הקלט למשימה של 'פילוח תמונות'.

• כשהיא פועלת במצב תמונה או סרטון, המשימה 'פילוח תמונות' חוסמת את השרשור הנוכחי עד שהיא מסיימת לעבד את התמונה או את הפריים של הקלט. כדי למנוע חסימה של השרשור הנוכחי, צריך להריץ את העיבוד בשרשור רקע באמצעות מסגרות ה-iOS Dispatch או NSOperation.

• במצב שידור חי, המשימה 'פילוח תמונות' חוזרת באופן מיידי ולא חוסמת את השרשור הנוכחי. הוא מפעיל את השיטה imageSegmenter(_:didFinishSegmentation:timestampInMilliseconds:error:) עם הכלי לחלוקת תמונות לאחר עיבוד כל מסגרת קלט. ה-Image Segmenter מפעיל את השיטה הזו באופן אסינכרוני בתור ייעודי לשליחה טורית. כדי להציג תוצאות בממשק המשתמש, צריך לשלוח את התוצאות לתור הראשי אחרי עיבוד התוצאות. אם הפונקציה segmentAsync מופעלת כשמשימה של פילוח תמונות עסוקה בעיבוד של פריים אחר, פילוח התמונות מתעלם מפריים הקלט החדש.

טיפול בתוצאות והצגתן

כשמריצים את ההסקה, המשימה 'פילוח תמונות' מחזירה אובייקט ImageSegmenterResult שמכיל את התוצאות של משימת הפילוח. תוכן הפלט תלוי בסוג הפלט שהגדרתם כשהגדרתם את המשימה.

בתמונות הבאות מוצגת תצוגה חזותית של פלט המשימה של מסכה של ערכים של קטגוריה. טווח המסכה של הקטגוריה הוא [0, 255] וכל ערך פיקסל מייצג את אינדקס הקטגוריה הזוכה בפלט של המודל. אינדקס הקטגוריה המנצחת הוא זה עם הציון הגבוה ביותר מבין הקטגוריות שהמודל יכול לזהות.

פלט של התממה של התמונה והקטגוריה המקורית. תמונה ממקור של מערך הנתונים Pascal VOC 2012.

בקוד לדוגמה של 'פילוח תמונות' מוסבר איך להציג את התוצאות של 'פילוח תמונות'. פרטים נוספים זמינים בקוד לדוגמה.