自然言語分類器を統合する

Task Library の NLClassifier API は、入力テキストをさまざまなカテゴリに分類します。これは、ほとんどのテキスト分類モデルを処理できる汎用性の高い構成可能な API です。

NLClassifier API の主な機能

  • 1 つの文字列を入力として受け取り、その文字列で分類を実行し、分類結果として <label, score=""> ペアを出力します。</label,>

  • 入力テキストで使用できるオプションの正規表現トークン化。

  • さまざまな分類モデルに適応するように構成可能。

サポートされている NLClassifier モデル

次のモデルは、NLClassifier API との互換性が保証されています。

Java で推論を実行する

Android アプリで NLClassifier を使用する方法の例については、テキスト分類リファレンス アプリをご覧ください。

ステップ 1: Gradle の依存関係とその他の設定をインポートする

.tflite モデルファイルを、モデルが実行される Android モジュールの assets ディレクトリにコピーします。ファイルを圧縮しないように指定し、TensorFlow Lite ライブラリをモジュールの build.gradle ファイルに追加します。

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

ステップ 2: API を使用して推論を実行する

// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
    NLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setInputTensorName(INPUT_TENSOR_NAME)
        .setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
        .build();
NLClassifier classifier =
    NLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

NLClassifier を構成するその他のオプションについては、ソースコードをご覧ください。

Swift で推論を実行する

ステップ 1: CocoaPods をインポートする

Podfile に TensorFlowLiteTaskText ポッドを追加する

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

ステップ 2: API を使用して推論を実行する

// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
      modelPath: modelPath,
      options: modelOptions)

// Run inference
let categories = nlClassifier.classify(text: input)

詳しくは、ソースコードをご覧ください。

C++ で推論を実行する

// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

詳しくは、ソースコードをご覧ください。

Python で推論を実行する

ステップ 1: pip パッケージをインストールする

pip install tflite-support

ステップ 2: モデルを使用する

# Imports
from tflite_support.task import text

# Initialization
classifier = text.NLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

NLClassifier を構成するその他のオプションについては、ソースコードをご覧ください。

検索結果の例

映画レビュー モデルの分類結果の例を次に示します。

入力: 「時間を無駄にした。」

出力:

category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'

独自のモデルとテストデータを使用して、簡単な NLClassifier 用の CLI デモツールを試してください。

モデルの互換性要件

ユースケースに応じて、NLClassifier API は TFLite モデル メタデータの有無にかかわらず TFLite モデルを読み込むことができます。TensorFlow Lite Metadata Writer API を使用して自然言語分類子のメタデータを作成する例をご覧ください。

互換性のあるモデルは、次の要件を満たしている必要があります。

  • 入力テンソル: (kTfLiteString/kTfLiteInt32)

    • モデルの入力は、kTfLiteString テンソルの未加工入力文字列、または未加工入力文字列の正規表現トークン化インデックスの kTfLiteInt32 テンソルのいずれかである必要があります。
    • 入力タイプが kTfLiteString の場合、モデルにメタデータは必要ありません。
    • 入力タイプが kTfLiteInt32 の場合、入力テンソルのメタデータで RegexTokenizer を設定する必要があります。

  • 出力スコア テンソル: (kTfLiteUInt8/kTfLiteInt8/kTfLiteInt16/kTfLiteFloat32/kTfLiteFloat64)

    • 分類された各カテゴリのスコアの必須出力テンソル。

    • 型が Int 型のいずれかである場合は、対応するプラットフォームで double/float に逆量子化します。

    • カテゴリラベルの出力テンソルの対応するメタデータに関連付けられたファイル（省略可）を含めることができます。ファイルは、1 行に 1 つのラベルを含むプレーン テキスト ファイルである必要があります。ラベルの数は、モデルの出力としてカテゴリの数と一致する必要があります。ラベルファイルの例をご覧ください。

  • 出力ラベル テンソル: (kTfLiteString/kTfLiteInt32)

    • 各カテゴリのラベルのオプションの出力テンソル。出力スコア テンソルと同じ長さにする必要があります。このテンソルが存在しない場合、API はスコア インデックスをクラス名として使用します。

    • 関連付けられたラベルファイルが出力スコア テンソルのメタデータに存在する場合は無視されます。