Integroni klasifikuesin e gjuhës natyrore BERT

Biblioteka e detyrave BertNLClassifier API është shumë e ngjashme me NLClassifier që klasifikon tekstin hyrës në kategori të ndryshme, përveç se kjo API është përshtatur posaçërisht për modelet e lidhura me Bert që kërkojnë tokenizime Wordpiece dhe Sentencepiece jashtë modelit TFLite.

Karakteristikat kryesore të API-së BertNLClassifier

  • Merr një varg të vetëm si hyrje, kryen klasifikimin me vargun dhe daljet çiftet si rezultat i klasifikimit.

  • Kryen tokenizime jashtë grafikut Wordpiece ose Sentencepiece në tekstin hyrës.

Modelet e mbështetura të BertNLClassifier

Modelet e mëposhtme janë të pajtueshme me BertNLClassifier API.

Ekzekutoni konkluzionet në Java

Hapi 1: Importoni varësinë Gradle dhe cilësime të tjera

Kopjoni skedarin e modelit .tflite në drejtorinë e aseteve të modulit Android ku do të ekzekutohet modeli. Specifikoni që skedari të mos jetë i ngjeshur dhe shtoni bibliotekën TensorFlow Lite në skedarin build.gradle të modulit:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

Hapi 2: Ekzekutoni konkluzionet duke përdorur API 

// Initialization
BertNLClassifierOptions options =
    BertNLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertNLClassifier classifier =
    BertNLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

Shihni kodin burimor për më shumë detaje.

Ekzekutoni konkluzionet në Swift

Hapi 1: Importoni CocoaPods

Shtoni podin TensorFlowLiteTaskText në Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

Hapi 2: Ekzekutoni konkluzionet duke përdorur API 

// Initialization
let bertNLClassifier = TFLBertNLClassifier.bertNLClassifier(
      modelPath: bertModelPath)

// Run inference
let categories = bertNLClassifier.classify(text: input)

Shihni kodin burimor për më shumë detaje.

Ekzekutoni konkluzionet në C++ 

// Initialization
BertNLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertNLClassifier> classifier = BertNLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

Shihni kodin burimor për më shumë detaje.

Ekzekutoni konkluzionet në Python

Hapi 1: Instaloni paketën pip 

pip install tflite-support

Hapi 2: Përdorimi i modelit 

# Imports
from tflite_support.task import text

# Initialization
classifier = text.BertNLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

Shihni kodin burimor për më shumë opsione për të konfiguruar BertNLClassifier .

Shembuj të rezultateve

Këtu është një shembull i rezultateve të klasifikimit të rishikimeve të filmave duke përdorur modelin MobileBert nga Model Maker.

Input: "është një udhëtim simpatik dhe shpesh me ndikim"

Prodhimi:

category[0]: 'negative' : '0.00006'
category[1]: 'positive' : '0.99994'

Provoni mjetin e thjeshtë demonstrues CLI për BertNLClassifier me modelin tuaj dhe të dhënat e testimit.

Kërkesat e përputhshmërisë së modelit

API BetNLClassifier pret një model TFLite me Metadata të detyrueshme të Modelit TFLite .

Metadatat duhet të plotësojnë kërkesat e mëposhtme:

  • input_process_ units për Wordpiece/Sentencepiece Tokenizer

  • 3 tensorë hyrës me emra "ids", "mask" dhe "segment_ids" për daljen e tokenizatorit

  • 1 tensor dalës i tipit float32, me një skedar etikete të bashkangjitur opsionalisht. Nëse një skedar etikete është bashkangjitur, skedari duhet të jetë një skedar teksti i thjeshtë me një etiketë për rresht dhe numri i etiketave duhet të përputhet me numrin e kategorive si rezultatet e modelit.