Phân loại hình ảnh là một ứng dụng phổ biến của công nghệ học máy để xác định nội dung mà một hình ảnh thể hiện. Ví dụ: chúng ta có thể muốn biết loại động vật xuất hiện trong một bức ảnh nhất định. Nhiệm vụ dự đoán nội dung của một hình ảnh được gọi là phân loại hình ảnh. Thuật toán phân loại hình ảnh được huấn luyện để nhận dạng nhiều lớp hình ảnh. Ví dụ: một mô hình có thể được huấn luyện để nhận dạng những bức ảnh đại diện cho 3 loại động vật: thỏ, chuột hamster và chó. Hãy xem ví dụ về phân loại hình ảnh để biết thêm thông tin về các trình phân loại hình ảnh.
Sử dụng API Thư viện tác vụ ImageClassifier để triển khai các trình phân loại hình ảnh tuỳ chỉnh hoặc được huấn luyện trước vào các ứng dụng di động của bạn.
Các tính năng chính của ImageClassifier API
Xử lý hình ảnh đầu vào, bao gồm xoay, đổi kích thước và chuyển đổi không gian màu.
Khu vực quan tâm của hình ảnh đầu vào.
Gắn nhãn ngôn ngữ trên bản đồ.
Ngưỡng điểm để lọc kết quả.
k kết quả phân loại hàng đầu.
Danh sách cho phép và danh sách từ chối nhãn.
Các mô hình phân loại hình ảnh được hỗ trợ
Các mô hình sau đây chắc chắn sẽ tương thích với API ImageClassifier.
Các mô hình do TensorFlow Lite Model Maker for Image Classification (Trình tạo mô hình TensorFlow Lite để phân loại hình ảnh) tạo ra.
Các mô hình phân loại hình ảnh được huấn luyện trước trên TensorFlow Hub.
Các mô hình do AutoML Vision Edge Image Classification (Phân loại hình ảnh bằng AutoML Vision Edge) tạo ra.
Các mô hình tuỳ chỉnh đáp ứng yêu cầu về khả năng tương thích của mô hình.
Chạy suy luận bằng Java
Hãy xem ứng dụng tham chiếu Phân loại hình ảnh để biết ví dụ về cách sử dụng ImageClassifier trong một ứng dụng Android.
Bước 1: Nhập phần phụ thuộc Gradle và các chế độ cài đặt khác
Sao chép tệp mô hình .tflite vào thư mục tài sản của mô-đun Android nơi mô hình sẽ chạy. Chỉ định rằng tệp không được nén và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:
android {
// Other settings
// Specify tflite file should not be compressed for the app apk
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Task Vision Library dependency
implementation 'org.tensorflow:tensorflow-lite-task-vision'
// Import the GPU delegate plugin Library for GPU inference
implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}
Bước 2: Sử dụng mô hình
// Initialization
ImageClassifierOptions options =
ImageClassifierOptions.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setMaxResults(1)
.build();
ImageClassifier imageClassifier =
ImageClassifier.createFromFileAndOptions(
context, modelFile, options);
// Run inference
List<Classifications> results = imageClassifier.classify(image);
Hãy xem mã nguồn và javadoc để biết thêm các lựa chọn định cấu hình ImageClassifier.
Chạy suy luận trong iOS
Bước 1: Cài đặt các phần phụ thuộc
Thư viện tác vụ hỗ trợ việc cài đặt bằng CocoaPods. Đảm bảo bạn đã cài đặt CocoaPods trên hệ thống. Vui lòng xem hướng dẫn cài đặt CocoaPods để biết hướng dẫn.
Vui lòng xem hướng dẫn về CocoaPods để biết thông tin chi tiết về cách thêm pod vào dự án Xcode.
Thêm nhóm TensorFlowLiteTaskVision vào Podfile.
target 'MyAppWithTaskAPI' do
use_frameworks!
pod 'TensorFlowLiteTaskVision'
end
Đảm bảo rằng mô hình .tflite mà bạn sẽ dùng để suy luận có trong gói ứng dụng của bạn.
Bước 2: Sử dụng mô hình
Swift
// Imports
import TensorFlowLiteTaskVision
// Initialization
guard let modelPath = Bundle.main.path(forResource: "birds_V1",
ofType: "tflite") else { return }
let options = ImageClassifierOptions(modelPath: modelPath)
// Configure any additional options:
// options.classificationOptions.maxResults = 3
let classifier = try ImageClassifier.classifier(options: options)
// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "sparrow.jpg"), let mlImage = MLImage(image: image) else { return }
// Run inference
let classificationResults = try classifier.classify(mlImage: mlImage)
Objective-C
// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>
// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"birds_V1" ofType:@"tflite"];
TFLImageClassifierOptions *options =
[[TFLImageClassifierOptions alloc] initWithModelPath:modelPath];
// Configure any additional options:
// options.classificationOptions.maxResults = 3;
TFLImageClassifier *classifier = [TFLImageClassifier imageClassifierWithOptions:options
error:nil];
// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"sparrow.jpg"];
// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];
// Run inference
TFLClassificationResult *classificationResult =
[classifier classifyWithGMLImage:gmlImage error:nil];
Hãy xem mã nguồn để biết thêm các lựa chọn định cấu hình TFLImageClassifier.
Chạy suy luận trong Python
Bước 1: Cài đặt gói pip
pip install tflite-support
Bước 2: Sử dụng mô hình
# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor
# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = vision.ImageClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = vision.ImageClassifier.create_from_options(options)
# Alternatively, you can create an image classifier in the following manner:
# classifier = vision.ImageClassifier.create_from_file(model_path)
# Run inference
image = vision.TensorImage.create_from_file(image_path)
classification_result = classifier.classify(image)
Hãy xem mã nguồn để biết thêm các lựa chọn định cấu hình ImageClassifier.
Chạy suy luận bằng C++
// Initialization
ImageClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageClassifier> image_classifier = ImageClassifier::CreateFromOptions(options).value();
// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
image_data, image_dimension);
// Run inference
const ClassificationResult result = image_classifier->Classify(*frame_buffer).value();
Hãy xem mã nguồn để biết thêm các lựa chọn định cấu hình ImageClassifier.
Kết quả mẫu
Dưới đây là ví dụ về kết quả phân loại của một trình phân loại chim.

Results:
Rank #0:
index : 671
score : 0.91406
class name : /m/01bwb9
display name: Passer domesticus
Rank #1:
index : 670
score : 0.00391
class name : /m/01bwbt
display name: Passer montanus
Rank #2:
index : 495
score : 0.00391
class name : /m/0bwm6m
display name: Passer italiae
Dùng thử công cụ minh hoạ CLI đơn giản cho ImageClassifier bằng mô hình và dữ liệu kiểm thử của riêng bạn.
Yêu cầu về khả năng tương thích của mô hình
API ImageClassifier yêu cầu một mô hình TFLite có Siêu dữ liệu mô hình TFLite bắt buộc. Xem các ví dụ về cách tạo siêu dữ liệu cho trình phân loại hình ảnh bằng API Trình ghi siêu dữ liệu TensorFlow Lite.
Các mô hình trình phân loại hình ảnh tương thích phải đáp ứng các yêu cầu sau:
Tensor hình ảnh đầu vào (kTfLiteUInt8/kTfLiteFloat32)
- đầu vào hình ảnh có kích thước
[batch x height x width x channels]. - không hỗ trợ suy luận theo lô (
batchphải là 1). - chỉ hỗ trợ đầu vào RGB (
channelsphải là 3). - nếu loại là kTfLiteFloat32, bạn phải đính kèm NormalizationOptions vào siêu dữ liệu để chuẩn hoá dữ liệu đầu vào.
- đầu vào hình ảnh có kích thước
Tensor điểm đầu ra (kTfLiteUInt8/kTfLiteFloat32)
- với các lớp
Nvà 2 hoặc 4 phương diện, tức là[1 x N]hoặc[1 x 1 x 1 x N] - (các) bản đồ nhãn không bắt buộc(nhưng nên dùng) dưới dạng AssociatedFile-s có loại TENSOR_AXIS_LABELS, chứa một nhãn trên mỗi dòng. Hãy xem tệp nhãn mẫu.
AssociatedFile đầu tiên như vậy (nếu có) được dùng để điền vào trường
label(được đặt tên làclass_nametrong C++) của kết quả. Trườngdisplay_nameđược điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với trườngdisplay_names_localecủaImageClassifierOptionsđược dùng tại thời điểm tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có trường nào trong số này, thì chỉ trườngindexcủa kết quả sẽ được điền.
- với các lớp