ผสานรวมเครื่องมือตอบคำถาม BERT

API ของ Task Library BertQuestionAnswerer จะโหลดโมเดลและคำตอบของ Bert ตามเนื้อหาของข้อความที่ระบุ สำหรับข้อมูลเพิ่มเติม โปรดดู ตัวอย่างสำหรับรูปแบบคำถามและคำตอบ

คุณลักษณะที่สำคัญของ BertQuestionAnswerer API

  • ใช้ข้อมูลอินพุตข้อความ 2 รายการเป็นคําถามและบริบท และแสดงผลรายการที่เป็นไปได้ คำตอบ

  • แปลงข้อมูลคำศัพท์หรือประโยคจากประโยคที่ไม่มีกราฟในอินพุต ข้อความ

โมเดล BertQuestionAnswerer ที่รองรับ

รุ่นต่อไปนี้เข้ากันได้กับ BertNLClassifier API

เรียกใช้การอนุมานใน Java

ขั้นตอนที่ 1: นำเข้าการอ้างอิง Gradle และการตั้งค่าอื่นๆ

คัดลอกไฟล์โมเดล .tflite ไปยังไดเรกทอรี Asset ของโมดูล Android ตำแหน่งที่โมเดลจะทำงาน ระบุว่าไม่ควรบีบอัดไฟล์ และ เพิ่มไลบรารี TensorFlow Lite ลงในไฟล์ build.gradle ของโมดูลด้วยคำสั่งต่อไปนี้

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization
BertQuestionAnswererOptions options =
    BertQuestionAnswererOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertQuestionAnswerer answerer =
    BertQuestionAnswerer.createFromFileAndOptions(
        androidContext, modelFile, options);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

โปรดดู ซอร์สโค้ด เพื่อดูรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน Swift

ขั้นตอนที่ 1: นำเข้า CocoaPods

เพิ่มพ็อด TensorFlowLiteTaskText ใน Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

ขั้นตอนที่ 2: เรียกใช้การอนุมานโดยใช้ API

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

โปรดดู ซอร์สโค้ด เพื่อดูรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน C++

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference with your inputs, `context_of_question` and `question_to_ask`.
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

โปรดดู ซอร์สโค้ด เพื่อดูรายละเอียดเพิ่มเติม

เรียกใช้การอนุมานใน Python

ขั้นตอนที่ 1: ติดตั้งแพ็กเกจ PIP

pip install tflite-support

ขั้นตอนที่ 2: การใช้โมเดล

# Imports
from tflite_support.task import text

# Initialization
answerer = text.BertQuestionAnswerer.create_from_file(model_path)

# Run inference
bert_qa_result = answerer.answer(context, question)

โปรดดู ซอร์สโค้ด เพื่อดูตัวเลือกเพิ่มเติมในการกำหนดค่า BertQuestionAnswerer

ตัวอย่างผลการแข่ง

ต่อไปนี้เป็นตัวอย่างผลลัพธ์คำตอบของ โมเดล ALBERT

บริบท: "ป่าฝนแอมะซอน (Amazon Jungle) หรือที่รู้จักกันในชื่อ ภาษาอังกฤษคือแอมะซอน (Amazonia) คือป่าฝนเขตร้อนในเขตร้อนชื้นในแอมะซอน ชีวนิเวศที่ครอบคลุมพื้นที่ส่วนใหญ่ในลุ่มน้ำแอมะซอนของอเมริกาใต้ แอ่งนี้ ครอบคลุม 7,000,000 กม.2 (2,700,000 ตารางไมล์) ซึ่ง ป่าฝนครอบคลุมพื้นที่ 5,500,000 ตร.กม. (2,100,000 ตารางไมล์) ภูมิภาคนี้ รวมถึงเขตแดนของ 9 ประเทศ"

คำถาม: "ป่าฝนอเมซอนอยู่ที่ไหน"

คำตอบ:

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

ลองใช้ เครื่องมือสาธิต CLI สำหรับ BertQuestionAnswerer กับโมเดลและข้อมูลทดสอบของคุณเอง

ข้อกำหนดความเข้ากันได้กับรุ่น

BertQuestionAnswerer API คาดว่าจะมีโมเดล TFLite ที่มีการบังคับ ข้อมูลเมตาของโมเดล TFLite

ข้อมูลเมตาควรเป็นไปตามข้อกำหนดต่อไปนี้

  • input_process_units สําหรับเครื่องมือแปลงข้อมูลเป็นโทเค็น/ประโยคจากประโยค

  • Tensor อินพุต 3 รายการที่มีชื่อ "ID", "mask" และ "segment_ids" สำหรับเอาต์พุตของ เครื่องมือแปลงข้อมูลเป็นโทเค็น

  • Tensor เอาต์พุต 2 รายการที่มีชื่อ "end_logits" และ "start_logits" เพื่อระบุ ตำแหน่งสัมพัทธ์ของคำตอบในบริบท