Integroni përgjigjen e pyetjeve BERT

Task Library BertQuestionAnswerer API ngarkon një model Bert dhe u përgjigjet pyetjeve bazuar në përmbajtjen e një pasazhi të caktuar. Për më shumë informacion, shihni shembullin për modelin Pyetje-Përgjigje .

Karakteristikat kryesore të API-së BertQuestionAnswerer

  • Merr dy hyrje teksti si pyetje dhe kontekst dhe nxjerr një listë të përgjigjeve të mundshme.

  • Kryen tokenizime jashtë grafikut Wordpiece ose Sentencepiece në tekstin hyrës.

Modelet e mbështetura të BertQuestionAnswerer

Modelet e mëposhtme janë të pajtueshme me BertNLClassifier API.

Ekzekutoni konkluzionet në Java

Hapi 1: Importoni varësinë Gradle dhe cilësime të tjera

Kopjoni skedarin e modelit .tflite në drejtorinë e aseteve të modulit Android ku do të ekzekutohet modeli. Specifikoni që skedari të mos jetë i ngjeshur dhe shtoni bibliotekën TensorFlow Lite në skedarin build.gradle të modulit:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

Hapi 2: Ekzekutoni konkluzionet duke përdorur API 

// Initialization
BertQuestionAnswererOptions options =
    BertQuestionAnswererOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertQuestionAnswerer answerer =
    BertQuestionAnswerer.createFromFileAndOptions(
        androidContext, modelFile, options);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

Shihni kodin burimor për më shumë detaje.

Ekzekutoni konkluzionet në Swift

Hapi 1: Importoni CocoaPods

Shtoni podin TensorFlowLiteTaskText në Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

Hapi 2: Ekzekutoni konkluzionet duke përdorur API 

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

Shihni kodin burimor për më shumë detaje.

Ekzekutoni konkluzionet në C++ 

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference with your inputs, `context_of_question` and `question_to_ask`.
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

Shihni kodin burimor për më shumë detaje.

Ekzekutoni konkluzionet në Python

Hapi 1: Instaloni paketën pip 

pip install tflite-support

Hapi 2: Përdorimi i modelit 

# Imports
from tflite_support.task import text

# Initialization
answerer = text.BertQuestionAnswerer.create_from_file(model_path)

# Run inference
bert_qa_result = answerer.answer(context, question)

Shihni kodin burimor për më shumë opsione për të konfiguruar BertQuestionAnswerer .

Shembuj të rezultateve

Këtu është një shembull i rezultateve të përgjigjeve të modelit ALBERT .

Konteksti: "Pylli tropikal i Amazonës, përndryshe, Xhungla e Amazonës, e njohur edhe në anglisht si Amazonia, është një pyll tropikal i lagësht gjethegjerë në biomën e Amazonës që mbulon pjesën më të madhe të pellgut të Amazonës në Amerikën e Jugut. Ky pellg përfshin 7,000,000 km2 (2,700,000 mi katrorë). ), nga të cilat 5 500 000 km2 (2,100,000 mije katrore) mbulohen nga pyjet e shiut Ky rajon përfshin territorin që i përket nëntë kombeve.

Pyetje: "Ku është pylli tropikal i Amazonës?"

Përgjigjet:

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

Provoni mjetin e thjeshtë demo CLI për BertQuestionAnswerer me modelin tuaj dhe të dhënat e testimit.

Kërkesat e përputhshmërisë së modelit

API BertQuestionAnswerer pret një model TFLite me Metadata të detyrueshme të Modelit TFLite .

Metadatat duhet të plotësojnë kërkesat e mëposhtme:

  • input_process_units për Wordpiece/Sentencepiece Tokenizer

  • 3 tensorë hyrës me emra "ids", "mask" dhe "segment_ids" për daljen e tokenizatorit

  • 2 tensorë dalës me emrat "end_logits" dhe "start_logits" për të treguar pozicionin relativ të përgjigjes në kontekst