دمج أدوات تقسيم الصور

تتوقّع أدوات تقسيم الصور ما إذا كان كل بكسل في الصورة مرتبطًا بفئة معيّنة. ويختلف ذلك عن رصد العناصر الذي يرصد العناصر في مناطق مستطيلة، وعن تصنيف الصور الذي يصنّف الصورة بشكل عام. يمكنك الاطّلاع على مثال على نظرة عامة حول تقسيم الصور للحصول على مزيد من المعلومات حول أدوات تقسيم الصور.

استخدِم واجهة برمجة التطبيقات "مكتبة المهام" ImageSegmenter لنشر أدوات تقسيم الصور المخصّصة أو تلك التي تم تدريبها مسبقًا في تطبيقاتك على الأجهزة الجوّالة.

الميزات الرئيسية لواجهة برمجة التطبيقات ImageSegmenter API

  • معالجة الصور المدخلة، بما في ذلك التدوير وتغيير الحجم وتحويل مساحة الألوان

  • لغة خريطة التصنيفات

  • نوعان من النتائج، وهما قناع الفئة وأقنعة الثقة.

  • تصنيف ملوّن لأغراض العرض

نماذج تقسيم الصور المتوافقة

نضمن توافق الطُرز التالية مع واجهة برمجة التطبيقات ImageSegmenter.

تشغيل الاستنتاج في Java

يمكنك الاطّلاع على تطبيق مرجعي لتقسيم الصور للحصول على مثال حول كيفية استخدام ImageSegmenter في تطبيق Android.

الخطوة 1: استيراد تبعية Gradle والإعدادات الأخرى

انسخ ملف نموذج .tflite إلى دليل مواد العرض الخاص بوحدة Android التي سيتم تشغيل النموذج فيها. حدِّد أنّه يجب عدم ضغط الملف، وأضِف مكتبة TensorFlow Lite إلى ملف build.gradle الخاص بالوحدة:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

الخطوة 2: استخدام النموذج

// Initialization
ImageSegmenterOptions options =
    ImageSegmenterOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setOutputType(OutputType.CONFIDENCE_MASK)
        .build();
ImageSegmenter imageSegmenter =
    ImageSegmenter.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Segmentation> results = imageSegmenter.segment(image);

يمكنك الاطّلاع على رمز المصدر وjavadoc لمعرفة المزيد من الخيارات لإعداد ImageSegmenter.

تنفيذ الاستدلال في نظام التشغيل iOS

الخطوة 1: تثبيت التبعيات

تتيح "مكتبة المهام" إمكانية التثبيت باستخدام CocoaPods. تأكَّد من تثبيت CocoaPods على نظامك. يُرجى الاطّلاع على دليل تثبيت CocoaPods للحصول على التعليمات.

يُرجى الاطّلاع على دليل CocoaPods لمعرفة تفاصيل حول إضافة وحدات إلى مشروع Xcode.

أضِف مجموعة الإعلانات المتسلسلة TensorFlowLiteTaskVision في ملف Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

تأكَّد من أنّ نموذج .tflite الذي ستستخدمه للاستدلال مضمّن في حِزمة تطبيقك.

الخطوة 2: استخدام النموذج

Swift

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "deeplabv3",
                                            ofType: "tflite") else { return }

let options = ImageSegmenterOptions(modelPath: modelPath)

// Configure any additional options:
// options.outputType = OutputType.confidenceMasks

let segmenter = try ImageSegmenter.segmenter(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "plane.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let segmentationResult = try segmenter.segment(mlImage: mlImage)

Objective-C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"deeplabv3" ofType:@"tflite"];

TFLImageSegmenterOptions *options =
    [[TFLImageSegmenterOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.outputType = TFLOutputTypeConfidenceMasks;

TFLImageSegmenter *segmenter = [TFLImageSegmenter imageSegmenterWithOptions:options
                                                                      error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"plane.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLSegmentationResult *segmentationResult =
    [segmenter segmentWithGMLImage:gmlImage error:nil];

اطّلِع على رمز المصدر لمعرفة المزيد من الخيارات لإعداد TFLImageSegmenter.

تشغيل الاستنتاج في Python

الخطوة 1: تثبيت حزمة pip

pip install tflite-support

الخطوة 2: استخدام النموذج

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
segmentation_options = processor.SegmentationOptions(
    output_type=processor.SegmentationOptions.output_type.CATEGORY_MASK)
options = vision.ImageSegmenterOptions(base_options=base_options, segmentation_options=segmentation_options)
segmenter = vision.ImageSegmenter.create_from_options(options)

# Alternatively, you can create an image segmenter in the following manner:
# segmenter = vision.ImageSegmenter.create_from_file(model_path)

# Run inference
image_file = vision.TensorImage.create_from_file(image_path)
segmentation_result = segmenter.segment(image_file)

اطّلِع على رمز المصدر لمعرفة المزيد من الخيارات لإعداد ImageSegmenter.

تشغيل الاستدلال في C++‎

// Initialization
ImageSegmenterOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageSegmenter> image_segmenter = ImageSegmenter::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const SegmentationResult result = image_segmenter->Segment(*frame_buffer).value();

اطّلِع على رمز المصدر لمعرفة المزيد من الخيارات لإعداد ImageSegmenter.

أمثلة النتائج

في ما يلي مثال على نتائج تقسيم الصورة باستخدام deeplab_v3، وهو نموذج عام لتقسيم الصور متاح على TensorFlow Hub.

طائرة

Color Legend:
 (r: 000, g: 000, b: 000):
  index       : 0
  class name  : background
 (r: 128, g: 000, b: 000):
  index       : 1
  class name  : aeroplane

# (omitting multiple lines for conciseness) ...

 (r: 128, g: 192, b: 000):
  index       : 19
  class name  : train
 (r: 000, g: 064, b: 128):
  index       : 20
  class name  : tv
Tip: use a color picker on the output PNG file to inspect the output mask with
this legend.

يجب أن يبدو قناع فئة التقسيم على النحو التالي:

segmentation-output

جرِّب أداة العرض التوضيحي البسيطة لواجهة سطر الأوامر الخاصة بـ ImageSegmenter باستخدام النموذج وبيانات الاختبار الخاصة بك.

متطلبات التوافق مع الطراز

تتوقّع واجهة برمجة التطبيقات ImageSegmenter نموذج TFLite يتضمّن بيانات وصفية إلزامية لنموذج TFLite. اطّلِع على أمثلة حول إنشاء البيانات الوصفية لأدوات تقسيم الصور باستخدام TensorFlow Lite Metadata Writer API.

  • موتر الصورة المدخَلة (kTfLiteUInt8/kTfLiteFloat32)

    • إدخال صورة بحجم [batch x height x width x channels]
    • لا تتوفّر الاستدلالات المجمّعة (يجب أن تكون قيمة batch هي 1).
    • يُسمح فقط بإدخال قيم RGB (يجب أن تكون قيمة channels هي 3).
    • إذا كان النوع kTfLiteFloat32، يجب إرفاق NormalizationOptions بالبيانات الوصفية لتسوية الإدخال.
  • موتر أقنعة الإخراج: (kTfLiteUInt8/kTfLiteFloat32)

    • موتر بحجم [batch x mask_height x mask_width x num_classes]، حيث يجب أن تكون قيمة batch هي 1، وmask_width وmask_height هما أبعاد أقنعة التقسيم التي ينتجها النموذج، وnum_classes هو عدد الفئات التي يتيحها النموذج.
    • يمكن إرفاق خرائط التصنيفات الاختيارية (ولكن يُنصح بها) كملفات AssociatedFile من النوع TENSOR_AXIS_LABELS، على أن يحتوي كل سطر على تصنيف واحد. يتم استخدام أول AssociatedFile (إن وُجد) من هذا النوع لملء الحقل label (المسمّى class_name في C++) الخاص بالنتائج. يتم ملء الحقل display_name من AssociatedFile (إن وُجد) الذي تتطابق لغته مع الحقل display_names_locale في ImageSegmenterOptions المستخدَم عند وقت الإنشاء (القيمة التلقائية هي "en"، أي الإنجليزية). إذا لم يتوفّر أي من هذه الحقول، سيتم ملء حقل index فقط في النتائج.