Классификация изображений — это распространенное использование машинного обучения для определения того, что представляет собой изображение. Например, мы можем захотеть узнать, какой тип животного изображен на данной картинке. Задача прогнозирования того, что представляет собой изображение, называется классификацией изображений . Классификатор изображений обучен распознавать различные классы изображений. Например, модель можно научить распознавать фотографии, изображающие три разных типа животных: кроликов, хомяков и собак. Дополнительную информацию о классификаторах изображений см. в примере классификации изображений .
Используйте API ImageClassifier
библиотеки задач для развертывания собственных или предварительно обученных классификаторов изображений в мобильных приложениях.
Ключевые особенности API ImageClassifier
Обработка входного изображения, включая вращение, изменение размера и преобразование цветового пространства.
Область интереса входного изображения.
Метка локали карты.
Порог оценки для фильтрации результатов.
Результаты классификации Top-k.
Пометьте список разрешенных и список запрещенных.
Поддерживаемые модели классификаторов изображений
Следующие модели гарантированно совместимы с API ImageClassifier
.
Модели, созданные TensorFlow Lite Model Maker для классификации изображений .
Предварительно обученные модели классификации изображений на TensorFlow Hub .
Модели, созданные с помощью классификации изображений AutoML Vision Edge .
Пользовательские модели, соответствующие требованиям совместимости моделей .
Запустить вывод в Java
См. справочное приложение по классификации изображений, где приведен пример использования ImageClassifier
в приложении для Android.
Шаг 1. Импортируйте зависимости Gradle и другие настройки.
Скопируйте файл модели .tflite
в каталог ресурсов модуля Android, где будет запускаться модель. Укажите, что файл не должен быть сжат, и добавьте библиотеку TensorFlow Lite в файл build.gradle
модуля:
android {
// Other settings
// Specify tflite file should not be compressed for the app apk
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Task Vision Library dependency
implementation 'org.tensorflow:tensorflow-lite-task-vision'
// Import the GPU delegate plugin Library for GPU inference
implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}
Шаг 2: Использование модели
// Initialization
ImageClassifierOptions options =
ImageClassifierOptions.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setMaxResults(1)
.build();
ImageClassifier imageClassifier =
ImageClassifier.createFromFileAndOptions(
context, modelFile, options);
// Run inference
List<Classifications> results = imageClassifier.classify(image);
Дополнительные параметры настройки ImageClassifier
см. в исходном коде и документации Javadoc .
Запустить вывод в iOS
Шаг 1. Установите зависимости
Библиотека задач поддерживает установку с использованием CocoaPods. Убедитесь, что CocoaPods установлен в вашей системе. Инструкции см. в руководстве по установке CocoaPods .
Подробную информацию о добавлении модулей в проект Xcode см. в руководстве CocoaPods .
Добавьте модуль TensorFlowLiteTaskVision
в Podfile.
target 'MyAppWithTaskAPI' do
use_frameworks!
pod 'TensorFlowLiteTaskVision'
end
Убедитесь, что модель .tflite
, которую вы будете использовать для вывода, присутствует в вашем пакете приложений.
Шаг 2: Использование модели
Быстрый
// Imports
import TensorFlowLiteTaskVision
// Initialization
guard let modelPath = Bundle.main.path(forResource: "birds_V1",
ofType: "tflite") else { return }
let options = ImageClassifierOptions(modelPath: modelPath)
// Configure any additional options:
// options.classificationOptions.maxResults = 3
let classifier = try ImageClassifier.classifier(options: options)
// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "sparrow.jpg"), let mlImage = MLImage(image: image) else { return }
// Run inference
let classificationResults = try classifier.classify(mlImage: mlImage)
Цель-C
// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>
// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"birds_V1" ofType:@"tflite"];
TFLImageClassifierOptions *options =
[[TFLImageClassifierOptions alloc] initWithModelPath:modelPath];
// Configure any additional options:
// options.classificationOptions.maxResults = 3;
TFLImageClassifier *classifier = [TFLImageClassifier imageClassifierWithOptions:options
error:nil];
// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"sparrow.jpg"];
// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];
// Run inference
TFLClassificationResult *classificationResult =
[classifier classifyWithGMLImage:gmlImage error:nil];
Дополнительные параметры настройки TFLImageClassifier
см. в исходном коде .
Запустить вывод в Python
Шаг 1. Установите пакет pip
pip install tflite-support
Шаг 2: Использование модели
# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor
# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = vision.ImageClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = vision.ImageClassifier.create_from_options(options)
# Alternatively, you can create an image classifier in the following manner:
# classifier = vision.ImageClassifier.create_from_file(model_path)
# Run inference
image = vision.TensorImage.create_from_file(image_path)
classification_result = classifier.classify(image)
Дополнительные параметры настройки ImageClassifier
см. в исходном коде .
Запустить вывод на C++
// Initialization
ImageClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageClassifier> image_classifier = ImageClassifier::CreateFromOptions(options).value();
// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
image_data, image_dimension);
// Run inference
const ClassificationResult result = image_classifier->Classify(*frame_buffer).value();
Дополнительные параметры настройки ImageClassifier
см. в исходном коде .
Примеры результатов
Вот пример результатов классификации классификатора птиц .
Results:
Rank #0:
index : 671
score : 0.91406
class name : /m/01bwb9
display name: Passer domesticus
Rank #1:
index : 670
score : 0.00391
class name : /m/01bwbt
display name: Passer montanus
Rank #2:
index : 495
score : 0.00391
class name : /m/0bwm6m
display name: Passer italiae
Попробуйте простой демонстрационный инструмент CLI для ImageClassifier с собственной моделью и тестовыми данными.
Требования совместимости модели
API ImageClassifier
ожидает модель TFLite с обязательными метаданными модели TFLite . См. примеры создания метаданных для классификаторов изображений с помощью API TensorFlow Lite Metadata Writer .
Совместимые модели классификаторов изображений должны отвечать следующим требованиям:
Тензор входного изображения (kTfLiteUInt8/kTfLiteFloat32)
- Ввод изображения размера
[batch x height x width x channels]
. - Пакетный вывод не поддерживается (
batch
должен быть равен 1). - поддерживаются только входы RGB (
channels
должно быть 3). - если тип — kTfLiteFloat32, параметры NormalizationOptions необходимо прикрепить к метаданным для нормализации ввода.
- Ввод изображения размера
Тензор выходной оценки (kTfLiteUInt8/kTfLiteFloat32)
- с
N
классами и 2 или 4 измерениями, т.е.[1 x N]
или[1 x 1 x 1 x N]
- необязательные (но рекомендуемые) карты меток в виде AssociatedFile-s с типом TENSOR_AXIS_LABELS, содержащие одну метку в строке. См. пример файла этикетки . Первый такой AssociatedFile (если есть) используется для заполнения поля
label
(называемогоclass_name
в C++) результатов. Полеdisplay_name
заполняется из AssociatedFile (если есть), языковой стандарт которого соответствует полюdisplay_names_locale
вImageClassifierOptions
, используемом во время создания (по умолчанию «en», т. е. английский). Если ни один из них недоступен, будет заполнено только полеindex
результатов.
- с