Интегрируйте автоответчик BERT

API библиотеки задач BertQuestionAnswerer загружает модель Bert и отвечает на вопросы, основываясь на содержании заданного текста. Подробнее см. пример для модели «Вопрос-Ответ» .

Основные возможности API BertQuestionAnswerer

• Принимает два текстовых ввода: вопрос и контекст, и выводит список возможных ответов.

• Выполняет внеграфическую токенизацию частей слова или предложения во входном тексте.

Поддерживаемые модели BertQuestionAnswerer

Следующие модели совместимы с API BertNLClassifier .

• Модели, созданные с помощью TensorFlow Lite Model Maker для BERT Вопрос Ответ .

• Предварительно обученные модели BERT на TensorFlow Hub .

• Пользовательские модели, отвечающие требованиям совместимости моделей .

Выполнение вывода на Java

Шаг 1: Импорт зависимости Gradle и других настроек

Скопируйте файл модели .tflite в каталог ресурсов модуля Android, где он будет запущен. Укажите, что файл не нужно сжимать, и добавьте библиотеку TensorFlow Lite в файл build.gradle модуля:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

Шаг 2: Выполнение вывода с использованием API

// Initialization
BertQuestionAnswererOptions options =
    BertQuestionAnswererOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertQuestionAnswerer answerer =
    BertQuestionAnswerer.createFromFileAndOptions(
        androidContext, modelFile, options);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

Более подробную информацию смотрите в исходном коде .

Выполнить вывод в Swift

Шаг 1: Импорт CocoaPods

Добавьте модуль TensorFlowLiteTaskText в Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

Шаг 2: Выполнение вывода с использованием API

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

Более подробную информацию смотрите в исходном коде .

Выполнить вывод в C++

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference with your inputs, `context_of_question` and `question_to_ask`.
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

Более подробную информацию смотрите в исходном коде .

Выполнить вывод на Python

Шаг 1: Установка пакета pip

pip install tflite-support

Шаг 2: Использование модели

# Imports
from tflite_support.task import text

# Initialization
answerer = text.BertQuestionAnswerer.create_from_file(model_path)

# Run inference
bert_qa_result = answerer.answer(context, question)

Дополнительные параметры настройки BertQuestionAnswerer см. в исходном коде .

Примеры результатов

Вот пример результатов ответа модели ALBERT .

Контекст: «Амазонские тропические леса, также известные как Амазонские джунгли, также известные как Амазония, — это влажные широколиственные тропические леса в биоме Амазонки, охватывающие большую часть бассейна реки Амазонки в Южной Америке. Площадь бассейна составляет 7 000 000 км² (2 700 000 кв. миль), из которых 5 500 000 км² (2 100 000 кв. миль) покрыты тропическими лесами. Этот регион включает в себя территорию, принадлежащую девяти странам».

Вопрос: «Где находятся тропические леса Амазонки?»

Ответы:

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

Попробуйте простой демонстрационный инструмент CLI для BertQuestionAnswerer с вашей собственной моделью и тестовыми данными.

Требования к совместимости моделей

API BertQuestionAnswerer ожидает модель TFLite с обязательными метаданными модели TFLite .

Метаданные должны соответствовать следующим требованиям:

• input_process_units для токенизатора частей слов/предложений

• 3 входных тензора с именами «ids», «mask» и «segment_ids» для вывода токенизатора

• 2 выходных тензора с именами «end_logits» и «start_logits», указывающими относительное положение ответа в контексте