ادغام طبقه بندی کننده های تصویر

طبقه‌بندی تصویر، یکی از کاربردهای رایج یادگیری ماشین برای شناسایی آنچه یک تصویر نشان می‌دهد، است. به عنوان مثال، ممکن است بخواهیم بدانیم چه نوع حیوانی در یک تصویر مشخص ظاهر می‌شود. وظیفه پیش‌بینی آنچه یک تصویر نشان می‌دهد، طبقه‌بندی تصویر نامیده می‌شود. یک طبقه‌بندی‌کننده تصویر برای تشخیص طبقات مختلف تصاویر آموزش داده می‌شود. به عنوان مثال، یک مدل ممکن است برای تشخیص عکس‌هایی که سه نوع حیوان مختلف را نشان می‌دهند، آموزش داده شود: خرگوش، همستر و سگ. برای اطلاعات بیشتر در مورد طبقه‌بندی‌کننده‌های تصویر، به مثال طبقه‌بندی تصویر مراجعه کنید.

از API مربوط به Task Library ImageClassifier برای پیاده‌سازی طبقه‌بندی‌کننده‌های تصویر سفارشی یا از پیش آموزش‌دیده در برنامه‌های تلفن همراه خود استفاده کنید.

ویژگی‌های کلیدی API طبقه‌بندی‌کننده تصویر

  • پردازش تصویر ورودی، شامل چرخش، تغییر اندازه و تبدیل فضای رنگ.

  • ناحیه مورد نظر تصویر ورودی.

  • برچسب‌گذاری محل نقشه.

  • آستانه امتیاز برای فیلتر کردن نتایج.

  • نتایج طبقه‌بندی k برتر.

  • برچسب‌گذاری لیست مجاز و لیست ممنوع.

مدل‌های طبقه‌بندی تصویر پشتیبانی‌شده

مدل‌های زیر تضمین می‌کنند که با API ImageClassifier API) سازگار باشند.

اجرای استنتاج در جاوا

برای مثالی از نحوه استفاده از ImageClassifier در یک برنامه اندروید، به برنامه مرجع طبقه‌بندی تصویر مراجعه کنید.

مرحله ۱: وارد کردن وابستگی Gradle و سایر تنظیمات

فایل مدل .tflite را در دایرکتوری assets ماژول اندروید که مدل در آن اجرا خواهد شد، کپی کنید. مشخص کنید که فایل نباید فشرده شود و کتابخانه TensorFlow Lite را به فایل build.gradle ماژول اضافه کنید:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

مرحله ۲: استفاده از مدل

// Initialization
ImageClassifierOptions options =
    ImageClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ImageClassifier imageClassifier =
    ImageClassifier.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Classifications> results = imageClassifier.classify(image);

برای گزینه‌های بیشتر برای پیکربندی ImageClassifier به کد منبع و javadoc مراجعه کنید.

اجرای استنتاج در iOS

مرحله ۱: نصب وابستگی‌ها

کتابخانه وظایف (Task Library) از نصب با استفاده از CocoaPods پشتیبانی می‌کند. مطمئن شوید که CocoaPods روی سیستم شما نصب شده است. لطفاً برای دستورالعمل‌ها به راهنمای نصب CocoaPods مراجعه کنید.

برای جزئیات بیشتر در مورد افزودن پاد به یک پروژه Xcode، لطفاً به راهنمای CocoaPods مراجعه کنید.

غلاف TensorFlowLiteTaskVision را در Podfile اضافه کنید.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

مطمئن شوید که مدل .tflite که برای استنتاج استفاده خواهید کرد، در بسته برنامه شما موجود است.

مرحله ۲: استفاده از مدل

سویفت

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "birds_V1",
                                            ofType: "tflite") else { return }

let options = ImageClassifierOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let classifier = try ImageClassifier.classifier(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "sparrow.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let classificationResults = try classifier.classify(mlImage: mlImage)

هدف-سی

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"birds_V1" ofType:@"tflite"];

TFLImageClassifierOptions *options =
    [[TFLImageClassifierOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLImageClassifier *classifier = [TFLImageClassifier imageClassifierWithOptions:options
                                                                          error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"sparrow.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLClassificationResult *classificationResult =
    [classifier classifyWithGMLImage:gmlImage error:nil];

برای گزینه‌های بیشتر برای پیکربندی TFLImageClassifier به کد منبع مراجعه کنید.

اجرای استنتاج در پایتون

مرحله ۱: نصب بسته pip

pip install tflite-support

مرحله ۲: استفاده از مدل

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = vision.ImageClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = vision.ImageClassifier.create_from_options(options)

# Alternatively, you can create an image classifier in the following manner:
# classifier = vision.ImageClassifier.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
classification_result = classifier.classify(image)

برای گزینه‌های بیشتر برای پیکربندی ImageClassifier به کد منبع مراجعه کنید.

اجرای استنتاج در ++C

// Initialization
ImageClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageClassifier> image_classifier = ImageClassifier::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h

std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const ClassificationResult result = image_classifier->Classify(*frame_buffer).value();

برای گزینه‌های بیشتر برای پیکربندی ImageClassifier به کد منبع مراجعه کنید.

نتایج مثال

در اینجا مثالی از نتایج طبقه‌بندی یک طبقه‌بندی‌کننده پرندگان آورده شده است.

گنجشک

Results:
  Rank #0:
   index       : 671
   score       : 0.91406
   class name  : /m/01bwb9
   display name: Passer domesticus
  Rank #1:
   index       : 670
   score       : 0.00391
   class name  : /m/01bwbt
   display name: Passer montanus
  Rank #2:
   index       : 495
   score       : 0.00391
   class name  : /m/0bwm6m
   display name: Passer italiae

ابزار آزمایشی ساده CLI برای ImageClassifier را با مدل و داده‌های آزمایشی خودتان امتحان کنید.

الزامات سازگاری مدل

API ImageClassifier API) انتظار یک مدل TFLite با فراداده مدل TFLite اجباری را دارد. نمونه‌هایی از ایجاد فراداده برای طبقه‌بندی‌کننده‌های تصویر با استفاده از API نویسنده فراداده TensorFlow Lite را ببینید.

مدل‌های طبقه‌بندی تصویر سازگار باید الزامات زیر را برآورده کنند:

  • تانسور تصویر ورودی (kTfLiteUInt8/kTfLiteFloat32)

    • ورودی تصویر با اندازه [batch x height x width x channels] .
    • استنتاج دسته‌ای پشتیبانی نمی‌شود ( batch باید ۱ باشد).
    • فقط ورودی‌های RGB پشتیبانی می‌شوند ( channels باید ۳ باشد).
    • اگر نوع kTfLiteFloat32 باشد، برای نرمال‌سازی ورودی، لازم است NormalizationOptions به فراداده‌ها متصل شود.
  • تانسور امتیاز خروجی (kTfLiteUInt8/kTfLiteFloat32)

    • با N کلاس و ۲ یا ۴ بعد، یعنی [1 x N] یا [1 x 1 x 1 x N]
    • نقشه(های) برچسب اختیاری (اما توصیه‌شده) به صورت AssociatedFile-s با نوع TENSOR_AXIS_LABELS، شامل یک برچسب در هر خط. به فایل برچسب نمونه مراجعه کنید. اولین AssociatedFile از این نوع (در صورت وجود) برای پر کردن فیلد label (که در C++ به عنوان class_name نامگذاری شده است) نتایج استفاده می‌شود. فیلد display_name از AssociatedFile (در صورت وجود) که زبان محلی آن با فیلد display_names_locale از ImageClassifierOptions استفاده شده در زمان ایجاد ("en" به طور پیش‌فرض، یعنی انگلیسی) مطابقت دارد، پر می‌شود. اگر هیچ یک از این موارد در دسترس نباشد، فقط فیلد index نتایج پر خواهد شد.