ইমেজ সেগমেন্টার একত্রিত করুন

ইমেজ সেগমেন্টাররা ভবিষ্যদ্বাণী করে যে একটি ছবির প্রতিটি পিক্সেল একটি নির্দিষ্ট শ্রেণীর সাথে সম্পর্কিত কিনা। এটি বস্তু সনাক্তকরণের বিপরীতে, যা আয়তক্ষেত্রাকার অঞ্চলে বস্তু সনাক্ত করে এবং চিত্র শ্রেণীবিভাগ, যা সামগ্রিক চিত্রকে শ্রেণীবদ্ধ করে। ইমেজ সেগমেন্টার সম্পর্কে আরও তথ্যের জন্য চিত্র বিভাজন ওভারভিউ উদাহরণটি দেখুন।

আপনার মোবাইল অ্যাপে আপনার কাস্টম ইমেজ সেগমেন্টার বা প্রি-ট্রেনড ইমেজ সেগমেন্টার স্থাপন করতে Task Library ImageSegmenter API ব্যবহার করুন।

ImageSegmenter API এর মূল বৈশিষ্ট্যগুলি

  • ইনপুট ইমেজ প্রসেসিং, যার মধ্যে রয়েছে ঘূর্ণন, আকার পরিবর্তন এবং রঙের স্থান রূপান্তর।

  • মানচিত্রের লোকেল লেবেল করুন।

  • দুটি আউটপুট প্রকার, ক্যাটাগরি মাস্ক এবং কনফিডেন্স মাস্ক।

  • প্রদর্শনের উদ্দেশ্যে রঙিন লেবেল।

সমর্থিত ইমেজ সেগমেন্টার মডেল

নিম্নলিখিত মডেলগুলি ImageSegmenter API-এর সাথে সামঞ্জস্যপূর্ণ হওয়ার নিশ্চয়তা রয়েছে।

জাভাতে অনুমান চালান

একটি অ্যান্ড্রয়েড অ্যাপে ImageSegmenter কীভাবে ব্যবহার করবেন তার উদাহরণের জন্য Image Segmentation রেফারেন্স অ্যাপটি দেখুন।

ধাপ ১: গ্রেডল নির্ভরতা এবং অন্যান্য সেটিংস আমদানি করুন

.tflite মডেল ফাইলটি অ্যান্ড্রয়েড মডিউলের সম্পদ ডিরেক্টরিতে কপি করুন যেখানে মডেলটি চালানো হবে। ফাইলটি সংকুচিত করা উচিত নয় তা নির্দিষ্ট করুন এবং মডিউলের build.gradle ফাইলে TensorFlow Lite লাইব্রেরি যোগ করুন:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

ধাপ ২: মডেল ব্যবহার করা

// Initialization
ImageSegmenterOptions options =
    ImageSegmenterOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setOutputType(OutputType.CONFIDENCE_MASK)
        .build();
ImageSegmenter imageSegmenter =
    ImageSegmenter.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Segmentation> results = imageSegmenter.segment(image);

ImageSegmenter কনফিগার করার জন্য আরও বিকল্পের জন্য সোর্স কোড এবং জাভাডোক দেখুন।

iOS-এ অনুমান চালান

ধাপ ১: নির্ভরতা ইনস্টল করুন

টাস্ক লাইব্রেরি CocoaPods ব্যবহার করে ইনস্টলেশন সমর্থন করে। নিশ্চিত করুন যে আপনার সিস্টেমে CocoaPods ইনস্টল করা আছে। নির্দেশাবলীর জন্য অনুগ্রহ করে CocoaPods ইনস্টলেশন নির্দেশিকাটি দেখুন।

Xcode প্রকল্পে পড যোগ করার বিশদ বিবরণের জন্য অনুগ্রহ করে CocoaPods নির্দেশিকাটি দেখুন।

পডফাইলে TensorFlowLiteTaskVision পড যোগ করুন।

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

নিশ্চিত করুন যে আপনি যে .tflite মডেলটি অনুমানের জন্য ব্যবহার করবেন তা আপনার অ্যাপ বান্ডেলে উপস্থিত রয়েছে।

ধাপ ২: মডেল ব্যবহার করা

সুইফট

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "deeplabv3",
                                            ofType: "tflite") else { return }

let options = ImageSegmenterOptions(modelPath: modelPath)

// Configure any additional options:
// options.outputType = OutputType.confidenceMasks

let segmenter = try ImageSegmenter.segmenter(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "plane.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let segmentationResult = try segmenter.segment(mlImage: mlImage)

অবজেক্টিভ-সি

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"deeplabv3" ofType:@"tflite"];

TFLImageSegmenterOptions *options =
    [[TFLImageSegmenterOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.outputType = TFLOutputTypeConfidenceMasks;

TFLImageSegmenter *segmenter = [TFLImageSegmenter imageSegmenterWithOptions:options
                                                                      error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"plane.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLSegmentationResult *segmentationResult =
    [segmenter segmentWithGMLImage:gmlImage error:nil];

TFLImageSegmenter কনফিগার করার জন্য আরও বিকল্পের জন্য সোর্স কোডটি দেখুন।

পাইথনে ইনফারেন্স চালান

ধাপ ১: পিপ প্যাকেজ ইনস্টল করুন

pip install tflite-support

ধাপ ২: মডেল ব্যবহার করা

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
segmentation_options = processor.SegmentationOptions(
    output_type=processor.SegmentationOptions.output_type.CATEGORY_MASK)
options = vision.ImageSegmenterOptions(base_options=base_options, segmentation_options=segmentation_options)
segmenter = vision.ImageSegmenter.create_from_options(options)

# Alternatively, you can create an image segmenter in the following manner:
# segmenter = vision.ImageSegmenter.create_from_file(model_path)

# Run inference
image_file = vision.TensorImage.create_from_file(image_path)
segmentation_result = segmenter.segment(image_file)

ImageSegmenter কনফিগার করার জন্য আরও বিকল্পের জন্য সোর্স কোডটি দেখুন।

C++ এ অনুমান চালান

// Initialization
ImageSegmenterOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageSegmenter> image_segmenter = ImageSegmenter::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const SegmentationResult result = image_segmenter->Segment(*frame_buffer).value();

ImageSegmenter কনফিগার করার জন্য আরও বিকল্পের জন্য সোর্স কোডটি দেখুন।

উদাহরণ ফলাফল

এখানে deeplab_v3 এর সেগমেন্টেশন ফলাফলের একটি উদাহরণ দেওয়া হল, এটি একটি জেনেরিক সেগমেন্টেশন মডেল যা TensorFlow Hub-এ উপলব্ধ।

সমতল

Color Legend:
 (r: 000, g: 000, b: 000):
  index       : 0
  class name  : background
 (r: 128, g: 000, b: 000):
  index       : 1
  class name  : aeroplane

# (omitting multiple lines for conciseness) ...

 (r: 128, g: 192, b: 000):
  index       : 19
  class name  : train
 (r: 000, g: 064, b: 128):
  index       : 20
  class name  : tv
Tip: use a color picker on the output PNG file to inspect the output mask with
this legend.

সেগমেন্টেশন ক্যাটাগরি মাস্কটি দেখতে এরকম হওয়া উচিত:

সেগমেন্টেশন-আউটপুট

আপনার নিজস্ব মডেল এবং পরীক্ষার ডেটা দিয়ে ImageSegmenter-এর জন্য সহজ CLI ডেমো টুলটি ব্যবহার করে দেখুন।

মডেলের সামঞ্জস্যের প্রয়োজনীয়তা

ImageSegmenter API-তে বাধ্যতামূলক TFLite মডেল মেটাডেটা সহ একটি TFLite মডেল আশা করা হচ্ছে। TensorFlow Lite মেটাডেটা রাইটার API ব্যবহার করে ইমেজ সেগমেন্টারের জন্য মেটাডেটা তৈরির উদাহরণ দেখুন।

  • ইনপুট ইমেজ টেনসর (kTfLiteUInt8/kTfLiteFloat32)

    • আকারের চিত্র ইনপুট [batch x height x width x channels]
    • ব্যাচ ইনফারেন্স সমর্থিত নয় ( batch ১ হতে হবে)।
    • শুধুমাত্র RGB ইনপুট সমর্থিত ( channels 3 হতে হবে)।
    • যদি টাইপ kTfLiteFloat32 হয়, তাহলে ইনপুট নরমালাইজেশনের জন্য মেটাডেটার সাথে নরমালাইজেশন অপশন সংযুক্ত করতে হবে।
  • আউটপুট মাস্ক টেনসর: (kTfLiteUInt8/kTfLiteFloat32)

    • আকারের টেনসর [batch x mask_height x mask_width x num_classes] , যেখানে batch 1 হওয়া প্রয়োজন, mask_width এবং mask_height হল মডেল দ্বারা উত্পাদিত সেগমেন্টেশন মাস্কের মাত্রা, এবং num_classes হল মডেল দ্বারা সমর্থিত ক্লাসের সংখ্যা।
    • ঐচ্ছিক (কিন্তু প্রস্তাবিত) লেবেল মানচিত্র(গুলি) AssociatedFile-s হিসাবে সংযুক্ত করা যেতে পারে যার ধরণ TENSOR_AXIS_LABELS, যার প্রতিটি লাইনে একটি করে লেবেল থাকে। ফলাফলের label ক্ষেত্র (C++ এ class_name নামে নামকরণ করা হয়েছে) পূরণ করতে প্রথম AssociatedFile (যদি থাকে) ব্যবহার করা হয়। display_name ক্ষেত্রটি AssociatedFile (যদি থাকে) থেকে পূরণ করা হয় যার লোকেল তৈরির সময় ব্যবহৃত ImageSegmenterOptions এর display_names_locale ক্ষেত্রের সাথে মেলে (ডিফল্টরূপে (en) অর্থাৎ ইংরেজি)। যদি এর কোনটিই উপলব্ধ না থাকে, তাহলে শুধুমাত্র ফলাফলের index ক্ষেত্রটি পূরণ করা হবে।