Integrimi i klasifikuesit të gjuhës natyrore

API-ja NLClassifier e Bibliotekës së Detyrave klasifikon tekstin e futur në kategori të ndryshme dhe është një API e gjithanshme dhe e konfigurueshme që mund të trajtojë shumicën e modeleve të klasifikimit të tekstit.

Karakteristikat kryesore të API-t NLClassifier

  • Merr një varg të vetëm si hyrje, kryen klasifikimin me vargun dhe jep rezultatin. çifte si rezultate të klasifikimit.

  • Tokenizimi Regex opsional i disponueshëm për tekstin e futur.

  • I konfigurueshëm për të përshtatur modele të ndryshme klasifikimi.

Modelet e mbështetura të NLClassifier

Modelet e mëposhtme garantohen të jenë të pajtueshme me API-n e NLClassifier .

Ekzekutoni përfundimin në Java

Shihni aplikacionin referues të Klasifikimit të Tekstit për një shembull se si të përdorni NLClassifier në një aplikacion Android.

Hapi 1: Importoni varësinë e Gradle dhe cilësimet e tjera

Kopjoni skedarin e modelit .tflite në direktorinë e aseteve të modulit Android ku do të ekzekutohet modeli. Specifikoni që skedari nuk duhet të kompresohet dhe shtoni bibliotekën TensorFlow Lite në skedarin build.gradle të modulit:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

Hapi 2: Ekzekutoni inferencën duke përdorur API-në 

// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
    NLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setInputTensorName(INPUT_TENSOR_NAME)
        .setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
        .build();
NLClassifier classifier =
    NLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

Shihni kodin burimor për më shumë opsione për të konfiguruar NLClassifier .

Ekzekutoni përfundimin në Swift

Hapi 1: Importoni CocoaPods

Shtoni pod-in TensorFlowLiteTaskText në Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

Hapi 2: Ekzekutoni inferencën duke përdorur API-në 

// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
      modelPath: modelPath,
      options: modelOptions)

// Run inference
let categories = nlClassifier.classify(text: input)

Shih kodin burimor për më shumë detaje.

Ekzekutoni përfundimin në C++ 

// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

Shih kodin burimor për më shumë detaje.

Ekzekutoni përfundimin në Python

Hapi 1: Instaloni paketën pip 

pip install tflite-support

Hapi 2: Përdorimi i modelit 

# Imports
from tflite_support.task import text

# Initialization
classifier = text.NLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

Shihni kodin burimor për më shumë opsione për të konfiguruar NLClassifier .

Rezultatet e shembujve

Ja një shembull i rezultateve të klasifikimit të modelit të rishikimit të filmit .

Informacion: "Çfarë humbjeje kohe për mua."

Dalja:

category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'

Provoni mjetin e thjeshtë demo CLI për NLClassifier me modelin tuaj dhe të dhënat e testimit.

Kërkesat e përputhshmërisë së modelit

Në varësi të rastit të përdorimit, API-ja e NLClassifier mund të ngarkojë një model TFLite me ose pa Metadata të Modelit TFLite . Shihni shembuj të krijimit të metadatave për klasifikuesit e gjuhës natyrore duke përdorur API-në e Shkruesit të Metadatave TensorFlow Lite .

Modelet e pajtueshme duhet të plotësojnë kërkesat e mëposhtme:

  • Tensori i hyrjes: (kTfLiteString/kTfLiteInt32)

    • Hyrja e modelit duhet të jetë ose një varg hyrës i papërpunuar i tensorit kTfLiteString ose një tensor kTfLiteInt32 për indekset e tokenizuara regex të vargut hyrës të papërpunuar.
    • Nëse lloji i hyrjes është kTfLiteString, nuk kërkohen meta të dhëna për modelin.
    • Nëse lloji i hyrjes është kTfLiteInt32, një RegexTokenizer duhet të konfigurohet në Metadata të tensorit të hyrjes.

  • Tensori i rezultatit të daljes: (kTfLiteUInt8/kTfLiteInt8/kTfLiteInt16/kTfLiteFloat32/kTfLiteFloat64)

    • Tensori i detyrueshëm i daljes për rezultatin e secilës kategori të klasifikuar.

    • Nëse tipi është një nga tipet Int, dekuantizojeni atë në double/float në platformat përkatëse.

    • Mund të ketë një skedar opsional të shoqëruar në Metadatat përkatëse të tensorit të daljes për etiketat e kategorive, skedari duhet të jetë një skedar teksti i thjeshtë me një etiketë për rresht, dhe numri i etiketave duhet të përputhet me numrin e kategorive siç del nga modeli. Shih shembullin e skedarit të etiketës .

  • Tensori i etiketës së daljes: (kTfLiteString/kTfLiteInt32)

    • Tensori opsional i daljes për etiketën për secilën kategori duhet të jetë i të njëjtës gjatësi me tensori i rezultatit të daljes. Nëse ky tensor nuk është i pranishëm, API përdor indekset e rezultatit si emra klasash.

    • Do të injorohet nëse skedari i etiketës së lidhur është i pranishëm në metadatat e tensorit të rezultatit të daljes.