API NLClassifier
библиотеки задач классифицирует входной текст по различным категориям и представляет собой универсальный и настраиваемый API, который может обрабатывать большинство моделей классификации текста.
Ключевые особенности API NLClassifier
Принимает одну строку в качестве входных данных, выполняет классификацию строки и выводит
Для входного текста доступна дополнительная токенизация регулярных выражений.
Возможность настройки для адаптации различных моделей классификации.
Поддерживаемые модели NLClassifier
Следующие модели гарантированно совместимы с API NLClassifier
.
Модели со спецификацией
average_word_vec
, созданные TensorFlow Lite Model Maker для классификации текста .Пользовательские модели, соответствующие требованиям совместимости моделей .
Запустить вывод в Java
См. справочное приложение по классификации текста, где приведен пример использования NLClassifier
в приложении для Android.
Шаг 1. Импортируйте зависимости Gradle и другие настройки.
Скопируйте файл модели .tflite
в каталог ресурсов модуля Android, где будет запускаться модель. Укажите, что файл не должен быть сжат, и добавьте библиотеку TensorFlow Lite в файл build.gradle
модуля:
android {
// Other settings
// Specify tflite file should not be compressed for the app apk
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Task Vision Library dependency
implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
// Import the GPU delegate plugin Library for GPU inference
implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}
Шаг 2. Запустите логический вывод с помощью API
// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
NLClassifierOptions.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setInputTensorName(INPUT_TENSOR_NAME)
.setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
.build();
NLClassifier classifier =
NLClassifier.createFromFileAndOptions(context, modelFile, options);
// Run inference
List<Category> results = classifier.classify(input);
Дополнительные параметры настройки NLClassifier
см. в исходном коде .
Запустить вывод в Swift
Шаг 1. Импортируйте CocoaPods
Добавьте модуль TensorFlowLiteTaskText в Podfile.
target 'MySwiftAppWithTaskAPI' do
use_frameworks!
pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end
Шаг 2. Запустите логический вывод с помощью API
// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
modelPath: modelPath,
options: modelOptions)
// Run inference
let categories = nlClassifier.classify(text: input)
Более подробную информацию смотрите в исходном коде .
Запустить вывод на C++
// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();
// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);
Более подробную информацию смотрите в исходном коде .
Запустить вывод в Python
Шаг 1. Установите пакет pip
pip install tflite-support
Шаг 2: Использование модели
# Imports
from tflite_support.task import text
# Initialization
classifier = text.NLClassifier.create_from_file(model_path)
# Run inference
text_classification_result = classifier.classify(text)
Дополнительные параметры настройки NLClassifier
см. в исходном коде .
Примеры результатов
Вот пример результатов классификации модели кинообзора .
Ввод: «Какая трата моего времени».
Выход:
category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'
Попробуйте простой демонстрационный инструмент CLI для NLClassifier с собственной моделью и тестовыми данными.
Требования совместимости моделей
В зависимости от варианта использования API NLClassifier
может загружать модель TFLite с метаданными модели TFLite или без них. См. примеры создания метаданных для классификаторов естественного языка с помощью API-интерфейса TensorFlow Lite Metadata Writer .
Совместимые модели должны отвечать следующим требованиям:
Входной тензор: (kTfLiteString/kTfLiteInt32)
- Входные данные модели должны быть либо необработанной входной строкой тензора kTfLiteString, либо тензором kTfLiteInt32 для токенизированных индексов регулярного выражения необработанной входной строки.
- Если тип входных данных — kTfLiteString, метаданные для модели не требуются.
- Если тип ввода — kTfLiteInt32,
RegexTokenizer
необходимо настроить в Metadata входного тензора.
Тензор выходной оценки: (kTfLiteUInt8/kTfLiteInt8/kTfLiteInt16/kTfLiteFloat32/kTfLiteFloat64)
Обязательный выходной тензор для оценки каждой классифицированной категории.
Если тип является одним из типов Int, деквантуйте его, чтобы удвоить/переместить на соответствующие платформы.
Может иметь необязательный связанный файл в соответствующих метаданных выходного тензора для меток категорий. Файл должен быть обычным текстовым файлом с одной меткой в строке, а количество меток должно соответствовать количеству категорий в выходных данных модели. См. пример файла этикетки .
Тензор выходной метки: (kTfLiteString/kTfLiteInt32)
Дополнительный выходной тензор для метки для каждой категории должен иметь ту же длину, что и выходной тензор оценок. Если этот тензор отсутствует, API использует индексы оценок в качестве имен классов.
Будет игнорироваться, если связанный файл метки присутствует в метаданных выходного тензора оценок.