整合 BERT 問題回答器

工作程式庫 BertQuestionAnswerer API 載入 BERT 模型和答案 來回答問題詳情請參閱 問答模型的範例。

BertQuestionAnswerer API 的主要功能

  • 使用兩個文字輸入做為問題和背景資訊，然後輸出一份可能的清單 都有可能

  • 對輸入的內容執行非圖表文字或語句代碼化作業 文字。

支援的 BertQuestionAnswerer 模型

下列型號與 BertNLClassifier API 相容。

在 Java 中執行推論

步驟 1：匯入 Gradle 依附元件和其他設定

將 .tflite 模型檔案複製到 Android 模組的資產目錄 以便訓練模型指定不要壓縮檔案，且 將 TensorFlow Lite 程式庫新增至模組的 build.gradle 檔案：

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

步驟 2：使用 API 執行推論

// Initialization
BertQuestionAnswererOptions options =
    BertQuestionAnswererOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertQuestionAnswerer answerer =
    BertQuestionAnswerer.createFromFileAndOptions(
        androidContext, modelFile, options);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

詳情請參閱 原始碼 ，掌握更多詳細資訊。

在 Swift 中執行推論

步驟 1：匯入 CocoaPods

在 Podfile 中新增 TensorFlowLiteTaskText Pod

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

步驟 2：使用 API 執行推論

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

詳情請參閱 原始碼 ，掌握更多詳細資訊。

在 C++ 中執行推論

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference with your inputs, `context_of_question` and `question_to_ask`.
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

詳情請參閱 原始碼 ，掌握更多詳細資訊。

在 Python 中執行推論

步驟 1：安裝 pip 套件

pip install tflite-support

步驟 2：使用模型

# Imports
from tflite_support.task import text

# Initialization
answerer = text.BertQuestionAnswerer.create_from_file(model_path)

# Run inference
bert_qa_result = answerer.answer(context, question)

詳情請參閱 原始碼 取得更多設定 BertQuestionAnswerer 的選項。

搜尋結果範例

在此例中，解答的結果是 ALBERT 模型。

內容："此外，亞馬遜雨林， 英文 (和亞馬遜州) 是位於亞馬遜州滿濕的熱帶雨林。 佔南美洲大多數亞馬遜盆地的生物。這個盆地 涵蓋 7,000,000 平方公里 (2,700,000 平方英里)，其中 雨林涵蓋 5,500,000 平方公里 (2,100,000 平方英里)。這個區域 包含屬於 9 個國家/地區的地域。」

問題：「亞馬遜雨林在哪裡？」

答案：

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

試試簡易設計 BertQuestionAnswerer 的 CLI 示範工具 使用自己的模型與測試資料

模型相容性需求

BertQuestionAnswerer API 預期的 TFLite 模型必須具有 TFLite 模型中繼資料。

中繼資料應符合下列要求：

  • input_process_units 適用於 Word 語音/Sentence Tokenizer

  • 3 個名稱為「id」和「mask」的輸入張量和「segment_ids」輸出 符記化工具

  • 2 個名稱為「end_logits」的輸出張量和「start_logits」來表示 瞭解答案的相對位置