集成 BERT 自然语言分类器

Task Library BertNLClassifier API 与 NLClassifier 非常相似 这种 API 将输入文本分为不同类别， 专为需要 Wordpiece 和 TFLite 模型之外的句子片段标记化。

BertNLClassifier API 的主要特性

  • 接受单个字符串作为输入，对该字符串进行分类， 输出 <label, score="">作为分类结果。</label,>

  • 执行图外 Wordpiece 或 句子 对输入文本进行词元化处理。

支持的 BertNLClassifier 模型

以下模型与 BertNLClassifier API 兼容。

使用 Java 运行推理

第 1 步：导入 Gradle 依赖项和其他设置

将 .tflite 模型文件复制到 Android 模块的 assets 目录中 将运行模型的位置。指定不应压缩该文件，并且 将 TensorFlow Lite 库添加到模块的 build.gradle 文件中：

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

第 2 步：使用 API 进行推理

// Initialization
BertNLClassifierOptions options =
    BertNLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertNLClassifier classifier =
    BertNLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

请参阅源代码 代码 了解详情。

在 Swift 中运行推理

第 1 步：导入 CocoaPods

在 Podfile 中添加 TensorFlowLiteTaskText pod

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

第 2 步：使用 API 进行推理

// Initialization
let bertNLClassifier = TFLBertNLClassifier.bertNLClassifier(
      modelPath: bertModelPath)

// Run inference
let categories = bertNLClassifier.classify(text: input)

请参阅源代码 代码 了解详情。

使用 C++ 运行推理

// Initialization
BertNLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertNLClassifier> classifier = BertNLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

请参阅源代码 代码 了解详情。

在 Python 中运行推理

第 1 步：安装 pip 软件包

pip install tflite-support

第 2 步：使用模型

# Imports
from tflite_support.task import text

# Initialization
classifier = text.BertNLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

请参阅源代码 代码 了解用于配置 BertNLClassifier 的更多选项。

示例结果

下面是一个使用 Model Maker 的 MobileBert 模型。

输入：“内容非常吸引人，并且常常会对转化历程产生影响”

输出：

category[0]: 'negative' : '0.00006'
category[1]: 'positive' : '0.99994'

试用简单的 CLI 演示工具 BertNLClassifier 模型和测试数据。

模型兼容性要求

BetNLClassifier API 需要一个具有强制性 TFLite 模型的 TFLite 模型 元数据。

元数据应满足以下要求：

  • Wordpiece/Sentencepiece 分词器的 input_process_units

  • 3 个输入张量，名称分别为“ids”、“mask”和“segment_ids”作为 标记生成器

  • 1 个 float32 类型的输出张量，带有可选附加的标签文件。如果 标签文件，该文件应为带有一个标签的纯文本文件 标签数应与类别数和 模型输出。