Integracja odpowiedzi na pytania BERT

Interfejs Task Library BertQuestionAnswerer API wczytuje model Bert i odpowiada na pytania na podstawie treści danego fragmentu. Więcej informacji znajdziesz w przykładzie dotyczącym modelu Question-Answer.

Kluczowe funkcje interfejsu BertQuestionAnswerer API

• Przyjmuje 2 dane wejściowe w postaci tekstu: pytanie i kontekst, a następnie zwraca listę możliwych odpowiedzi.

• Przeprowadza tokenizację Wordpiece lub Sentencepiece poza grafem na wejściowym tekście.

Obsługiwane modele BertQuestionAnswerer

Z interfejsem BertNLClassifier API są zgodne te modele:

• Modele utworzone przez TensorFlow Lite Model Maker for BERT Question Answer.

• Wytrenowane modele BERT w TensorFlow Hub.

• modele niestandardowe, które spełniają wymagania dotyczące zgodności modeli;

Uruchamianie wnioskowania w Javie

Krok 1. Zaimportuj zależność Gradle i inne ustawienia

Skopiuj plik modelu .tflite do katalogu zasobów modułu Androida, w którym będzie uruchamiany model. Określ, że plik nie powinien być kompresowany, i dodaj bibliotekę TensorFlow Lite do pliku build.gradle modułu:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

Krok 2. Uruchom wnioskowanie za pomocą interfejsu API

// Initialization
BertQuestionAnswererOptions options =
    BertQuestionAnswererOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertQuestionAnswerer answerer =
    BertQuestionAnswerer.createFromFileAndOptions(
        androidContext, modelFile, options);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

Więcej informacji znajdziesz w kodzie źródłowym.

Uruchamianie wnioskowania w Swift

Krok 1. Zaimportuj CocoaPods

Dodaj pod TensorFlowLiteTaskText do pliku Podfile.

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

Krok 2. Uruchom wnioskowanie za pomocą interfejsu API

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

Więcej informacji znajdziesz w kodzie źródłowym.

Uruchamianie wnioskowania w C++

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference with your inputs, `context_of_question` and `question_to_ask`.
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

Więcej informacji znajdziesz w kodzie źródłowym.

Uruchamianie wnioskowania w Pythonie

Krok 1. Zainstaluj pakiet pip

pip install tflite-support

Krok 2. Korzystanie z modelu

# Imports
from tflite_support.task import text

# Initialization
answerer = text.BertQuestionAnswerer.create_from_file(model_path)

# Run inference
bert_qa_result = answerer.answer(context, question)

Więcej opcji konfigurowania BertQuestionAnswerer znajdziesz w kodzie źródłowym.

Przykładowe wyniki

Oto przykład wyników odpowiedzi modelu ALBERT.

Kontekst: „Amazoński las deszczowy, zwany też dżunglą amazońską lub Amazonią, to wilgotny, liściasty las deszczowy w biomie amazońskim, który pokrywa większość dorzecza Amazonki w Ameryce Południowej. Powierzchnia tej zlewni wynosi 7 mln km² (2,7 mln mil²), z czego 5,5 mln km² (2,1 mln mil²) zajmuje las deszczowy. Ten region obejmuje terytorium należące do 9 państw”.

Pytanie: „Gdzie znajduje się amazoński las deszczowy?”

Odpowiedzi:

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

Wypróbuj proste narzędzie demonstracyjne interfejsu wiersza poleceń dla modelu BertQuestionAnswerer z własnym modelem i danymi testowymi.

Wymagania dotyczące zgodności modeli

Interfejs BertQuestionAnswerer API oczekuje modelu TFLite z obowiązkowymi metadanymi modelu TFLite.

Metadane powinny spełniać te wymagania:

• input_process_units w przypadku tokenizatora Wordpiece/Sentencepiece

• 3 tensory wejściowe o nazwach „ids”, „mask” i „segment_ids” dla danych wyjściowych tokenizera

• 2 tensory wyjściowe o nazwach „end_logits” i „start_logits”, które wskazują względną pozycję odpowiedzi w kontekście.