طبقهبندی تصویر، یکی از کاربردهای رایج یادگیری ماشین برای شناسایی آنچه یک تصویر نشان میدهد، است. به عنوان مثال، ممکن است بخواهیم بدانیم چه نوع حیوانی در یک تصویر مشخص ظاهر میشود. وظیفه پیشبینی آنچه یک تصویر نشان میدهد، طبقهبندی تصویر نامیده میشود. یک طبقهبندیکننده تصویر برای تشخیص طبقات مختلف تصاویر آموزش داده میشود. به عنوان مثال، یک مدل ممکن است برای تشخیص عکسهایی که سه نوع حیوان مختلف را نشان میدهند، آموزش داده شود: خرگوش، همستر و سگ. برای اطلاعات بیشتر در مورد طبقهبندیکنندههای تصویر، به مثال طبقهبندی تصویر مراجعه کنید.
از API مربوط به Task Library ImageClassifier برای پیادهسازی طبقهبندیکنندههای تصویر سفارشی یا از پیش آموزشدیده در برنامههای تلفن همراه خود استفاده کنید.
ویژگیهای کلیدی API طبقهبندیکننده تصویر
پردازش تصویر ورودی، شامل چرخش، تغییر اندازه و تبدیل فضای رنگ.
ناحیه مورد نظر تصویر ورودی.
برچسبگذاری محل نقشه.
آستانه امتیاز برای فیلتر کردن نتایج.
نتایج طبقهبندی k برتر.
برچسبگذاری لیست مجاز و لیست ممنوع.
مدلهای طبقهبندی تصویر پشتیبانیشده
مدلهای زیر تضمین میکنند که با API ImageClassifier API) سازگار باشند.
مدلهای ایجاد شده توسط TensorFlow Lite Model Maker برای طبقهبندی تصویر .
مدلهای طبقهبندی تصویر از پیش آموزشدیده در TensorFlow Hub .
مدلهای ایجاد شده توسط طبقهبندی تصویر لبه بینایی AutoML .
مدلهای سفارشی که الزامات سازگاری مدل را برآورده میکنند.
اجرای استنتاج در جاوا
برای مثالی از نحوه استفاده از ImageClassifier در یک برنامه اندروید، به برنامه مرجع طبقهبندی تصویر مراجعه کنید.
مرحله ۱: وارد کردن وابستگی Gradle و سایر تنظیمات
فایل مدل .tflite را در دایرکتوری assets ماژول اندروید که مدل در آن اجرا خواهد شد، کپی کنید. مشخص کنید که فایل نباید فشرده شود و کتابخانه TensorFlow Lite را به فایل build.gradle ماژول اضافه کنید:
android {
// Other settings
// Specify tflite file should not be compressed for the app apk
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Task Vision Library dependency
implementation 'org.tensorflow:tensorflow-lite-task-vision'
// Import the GPU delegate plugin Library for GPU inference
implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}
مرحله ۲: استفاده از مدل
// Initialization
ImageClassifierOptions options =
ImageClassifierOptions.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setMaxResults(1)
.build();
ImageClassifier imageClassifier =
ImageClassifier.createFromFileAndOptions(
context, modelFile, options);
// Run inference
List<Classifications> results = imageClassifier.classify(image);
برای گزینههای بیشتر برای پیکربندی ImageClassifier به کد منبع و javadoc مراجعه کنید.
اجرای استنتاج در iOS
مرحله ۱: نصب وابستگیها
کتابخانه وظایف (Task Library) از نصب با استفاده از CocoaPods پشتیبانی میکند. مطمئن شوید که CocoaPods روی سیستم شما نصب شده است. لطفاً برای دستورالعملها به راهنمای نصب CocoaPods مراجعه کنید.
برای جزئیات بیشتر در مورد افزودن پاد به یک پروژه Xcode، لطفاً به راهنمای CocoaPods مراجعه کنید.
غلاف TensorFlowLiteTaskVision را در Podfile اضافه کنید.
target 'MyAppWithTaskAPI' do
use_frameworks!
pod 'TensorFlowLiteTaskVision'
end
مطمئن شوید که مدل .tflite که برای استنتاج استفاده خواهید کرد، در بسته برنامه شما موجود است.
مرحله ۲: استفاده از مدل
سویفت
// Imports
import TensorFlowLiteTaskVision
// Initialization
guard let modelPath = Bundle.main.path(forResource: "birds_V1",
ofType: "tflite") else { return }
let options = ImageClassifierOptions(modelPath: modelPath)
// Configure any additional options:
// options.classificationOptions.maxResults = 3
let classifier = try ImageClassifier.classifier(options: options)
// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "sparrow.jpg"), let mlImage = MLImage(image: image) else { return }
// Run inference
let classificationResults = try classifier.classify(mlImage: mlImage)
هدف-سی
// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>
// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"birds_V1" ofType:@"tflite"];
TFLImageClassifierOptions *options =
[[TFLImageClassifierOptions alloc] initWithModelPath:modelPath];
// Configure any additional options:
// options.classificationOptions.maxResults = 3;
TFLImageClassifier *classifier = [TFLImageClassifier imageClassifierWithOptions:options
error:nil];
// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"sparrow.jpg"];
// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];
// Run inference
TFLClassificationResult *classificationResult =
[classifier classifyWithGMLImage:gmlImage error:nil];
برای گزینههای بیشتر برای پیکربندی TFLImageClassifier به کد منبع مراجعه کنید.
اجرای استنتاج در پایتون
مرحله ۱: نصب بسته pip
pip install tflite-support
مرحله ۲: استفاده از مدل
# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor
# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = vision.ImageClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = vision.ImageClassifier.create_from_options(options)
# Alternatively, you can create an image classifier in the following manner:
# classifier = vision.ImageClassifier.create_from_file(model_path)
# Run inference
image = vision.TensorImage.create_from_file(image_path)
classification_result = classifier.classify(image)
برای گزینههای بیشتر برای پیکربندی ImageClassifier به کد منبع مراجعه کنید.
اجرای استنتاج در ++C
// Initialization
ImageClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageClassifier> image_classifier = ImageClassifier::CreateFromOptions(options).value();
// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
image_data, image_dimension);
// Run inference
const ClassificationResult result = image_classifier->Classify(*frame_buffer).value();
برای گزینههای بیشتر برای پیکربندی ImageClassifier به کد منبع مراجعه کنید.
نتایج مثال
در اینجا مثالی از نتایج طبقهبندی یک طبقهبندیکننده پرندگان آورده شده است.

Results:
Rank #0:
index : 671
score : 0.91406
class name : /m/01bwb9
display name: Passer domesticus
Rank #1:
index : 670
score : 0.00391
class name : /m/01bwbt
display name: Passer montanus
Rank #2:
index : 495
score : 0.00391
class name : /m/0bwm6m
display name: Passer italiae
ابزار آزمایشی ساده CLI برای ImageClassifier را با مدل و دادههای آزمایشی خودتان امتحان کنید.
الزامات سازگاری مدل
API ImageClassifier API) انتظار یک مدل TFLite با فراداده مدل TFLite اجباری را دارد. نمونههایی از ایجاد فراداده برای طبقهبندیکنندههای تصویر با استفاده از API نویسنده فراداده TensorFlow Lite را ببینید.
مدلهای طبقهبندی تصویر سازگار باید الزامات زیر را برآورده کنند:
تانسور تصویر ورودی (kTfLiteUInt8/kTfLiteFloat32)
- ورودی تصویر با اندازه
[batch x height x width x channels]. - استنتاج دستهای پشتیبانی نمیشود (
batchباید ۱ باشد). - فقط ورودیهای RGB پشتیبانی میشوند (
channelsباید ۳ باشد). - اگر نوع kTfLiteFloat32 باشد، برای نرمالسازی ورودی، لازم است NormalizationOptions به فرادادهها متصل شود.
- ورودی تصویر با اندازه
تانسور امتیاز خروجی (kTfLiteUInt8/kTfLiteFloat32)
- با
Nکلاس و ۲ یا ۴ بعد، یعنی[1 x N]یا[1 x 1 x 1 x N] - نقشه(های) برچسب اختیاری (اما توصیهشده) به صورت AssociatedFile-s با نوع TENSOR_AXIS_LABELS، شامل یک برچسب در هر خط. به فایل برچسب نمونه مراجعه کنید. اولین AssociatedFile از این نوع (در صورت وجود) برای پر کردن فیلد
label(که در C++ به عنوانclass_nameنامگذاری شده است) نتایج استفاده میشود. فیلدdisplay_nameاز AssociatedFile (در صورت وجود) که زبان محلی آن با فیلدdisplay_names_localeازImageClassifierOptionsاستفاده شده در زمان ایجاد ("en" به طور پیشفرض، یعنی انگلیسی) مطابقت دارد، پر میشود. اگر هیچ یک از این موارد در دسترس نباشد، فقط فیلدindexنتایج پر خواهد شد.
- با