إنشاء واجهة برمجة تطبيقات خاصة بخدمة Task API

على غرار واجهات برمجة التطبيقات الأصلية، يجب توفير واجهة برمجة التطبيقات للعميل المعلومات التالية من خلال تمديد BaseTaskApi، توفِّر عمليات معالجة JNI لجميع واجهات برمجة تطبيقات مهام Java.

• تحديد إدخال/إخراج واجهة برمجة التطبيقات: يؤدي هذا عادةً إلى النسخ المطابق للواجهات الأصلية. مثلاً يتم استخدام (String context, String question) كإدخال في BertQuestionAnswerer والنتائج List<QaAnswer>. يتطلّب التنفيذ منشئ محتوى خاصًا. ذات توقيع مشابه، باستثناء أنها تتضمن معلمة إضافية long nativeHandle، وهي المؤشر الذي يتم عرضه من C++.

  class BertQuestionAnswerer extends BaseTaskApi {
    public List<QaAnswer> answer(String context, String question) {
      return answerNative(getNativeHandle(), context, question);
    }
  
    private static native List<QaAnswer> answerNative(
                                          long nativeHandle, // C++ pointer
                                          String context, String question // API I/O
                                         );
  
  }
  

• إنشاء وظائف المصنع لواجهة برمجة التطبيقات: كما أنه يتماشى مع المصنع الأصلي بخلاف ذلك، باستثناء أن وظائف Android المصنع تحتاج أيضًا إلى اتخاذ Context للوصول إلى الملفات. يستدعي التنفيذ إحدى الأدوات المساعدة في TaskJniUtils لإنشاء كائن واجهة برمجة تطبيقات C++ المقابل وتمرير مؤشر الماوس إلى الدالة الإنشائية BaseTaskApi.

    class BertQuestionAnswerer extends BaseTaskApi {
      private static final String BERT_QUESTION_ANSWERER_NATIVE_LIBNAME =
                                                "bert_question_answerer_jni";
  
      // Extending super constructor by providing the
      // native handle(pointer of corresponding C++ API object)
      private BertQuestionAnswerer(long nativeHandle) {
        super(nativeHandle);
      }
  
      public static BertQuestionAnswerer createBertQuestionAnswerer(
                                          Context context, // Accessing Android files
                                          String pathToModel, String pathToVocab) {
        return new BertQuestionAnswerer(
            // The util first try loads the JNI module with name
            // BERT_QUESTION_ANSWERER_NATIVE_LIBNAME, then opens two files,
            // converts them into ByteBuffer, finally ::initJniWithBertByteBuffers
            // is called with the buffer for a C++ API object pointer
            TaskJniUtils.createHandleWithMultipleAssetFilesFromLibrary(
                context,
                BertQuestionAnswerer::initJniWithBertByteBuffers,
                BERT_QUESTION_ANSWERER_NATIVE_LIBNAME,
                pathToModel,
                pathToVocab));
      }
  
      // modelBuffers[0] is tflite model file buffer, and modelBuffers[1] is vocab file buffer.
      // returns C++ API object pointer casted to long
      private static native long initJniWithBertByteBuffers(ByteBuffer... modelBuffers);
  
    }
  

• تنفيذ وحدة JNI للدوال الأصلية - جميع طرق Java الأصلية عن طريق استدعاء دالة أصلية مقابلة من JNI واحدة. ستعمل دوال المصنع على إنشاء كائن واجهة برمجة تطبيقات أصلي ثم المؤشر الخاص بها كنوع طويل لـ Java. في الاتصالات اللاحقة بواجهة برمجة تطبيقات Java، يتم تمرير مؤشر type مرة أخرى إلى JNI وإعادته إلى كائن واجهة برمجة التطبيقات الأصلي. يتم بعد ذلك تحويل نتائج واجهة برمجة التطبيقات الأصلية إلى نتائج Java.

  على سبيل المثال، هذه هي الطريقة bert_question_answerer_jni تنفيذها.

    // Implements BertQuestionAnswerer::initJniWithBertByteBuffers
    extern "C" JNIEXPORT jlong JNICALL
    Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_initJniWithBertByteBuffers(
        JNIEnv* env, jclass thiz, jobjectArray model_buffers) {
      // Convert Java ByteBuffer object into a buffer that can be read by native factory functions
      absl::string_view model =
          GetMappedFileBuffer(env, env->GetObjectArrayElement(model_buffers, 0));
  
      // Creates the native API object
      absl::StatusOr<std::unique_ptr<QuestionAnswerer>> status =
          BertQuestionAnswerer::CreateFromBuffer(
              model.data(), model.size());
      if (status.ok()) {
        // converts the object pointer to jlong and return to Java.
        return reinterpret_cast<jlong>(status->release());
      } else {
        return kInvalidPointer;
      }
    }
  
    // Implements BertQuestionAnswerer::answerNative
    extern "C" JNIEXPORT jobject JNICALL
    Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_answerNative(
    JNIEnv* env, jclass thiz, jlong native_handle, jstring context, jstring question) {
    // Convert long to native API object pointer
    QuestionAnswerer* question_answerer = reinterpret_cast<QuestionAnswerer*>(native_handle);
  
    // Calls the native API
    std::vector<QaAnswer> results = question_answerer->Answer(JStringToString(env, context),
                                           JStringToString(env, question));
  
    // Converts native result(std::vector<QaAnswer>) to Java result(List<QaAnswerer>)
    jclass qa_answer_class =
      env->FindClass("org/tensorflow/lite/task/text/qa/QaAnswer");
    jmethodID qa_answer_ctor =
      env->GetMethodID(qa_answer_class, "<init>", "(Ljava/lang/String;IIF)V");
    return ConvertVectorToArrayList<QaAnswer>(
      env, results,
      [env, qa_answer_class, qa_answer_ctor](const QaAnswer& ans) {
        jstring text = env->NewStringUTF(ans.text.data());
        jobject qa_answer =
            env->NewObject(qa_answer_class, qa_answer_ctor, text, ans.pos.start,
                           ans.pos.end, ans.pos.logit);
        env->DeleteLocalRef(text);
        return qa_answer;
      });
    }
  
    // Implements BaseTaskApi::deinitJni by delete the native object
    extern "C" JNIEXPORT void JNICALL Java_task_core_BaseTaskApi_deinitJni(
        JNIEnv* env, jobject thiz, jlong native_handle) {
      delete reinterpret_cast<QuestionAnswerer*>(native_handle);
    }
  

واجهة برمجة تطبيقات iOS

يمكنك إنشاء واجهات برمجة تطبيقات لنظام التشغيل iOS من خلال دمج عنصر واجهة برمجة تطبيقات أصلي في كائن واجهة برمجة تطبيقات ObjC. تشير رسالة الأشكال البيانية يمكن استخدام كائن واجهة برمجة التطبيقات الذي تم إنشاؤه إما في ObjC أو Swift. تتطلب واجهة برمجة تطبيقات iOS الأصلية التي سيتم إنشاؤها أولاً.

مثال

فيما يلي مثال باستخدام ObjC TFLBertQuestionAnswerer لشركة MobileBert في Swift.

  static let mobileBertModelPath = "path/to/model.tflite";
  // Create the API from a model file and vocabulary file
  let mobileBertAnswerer = TFLBertQuestionAnswerer.mobilebertQuestionAnswerer(
      modelPath: mobileBertModelPath)

  static let context = ...; // context of a question to be answered
  static let question = ...; // question to be answered
  // ask a question
  let answers = mobileBertAnswerer.answer(
      context: TFLBertQuestionAnswererTest.context, question: TFLBertQuestionAnswererTest.question)
  // answers.[0].text is the best answer

إنشاء واجهة برمجة التطبيقات

الشكل 4. واجهة برمجة تطبيقات مهام iOS

واجهة برمجة تطبيقات iOS هي برنامج تضمين بسيط من نوع ObjC أعلى واجهة برمجة التطبيقات الأصلية. إنشاء واجهة برمجة التطبيقات من خلال باتباع الخطوات أدناه:

• تحديد برنامج تضمين ObjC - تحديد فئة ObjC وتفويض عمليات التنفيذ لكائن واجهة برمجة التطبيقات الأصلي المقابل. ملاحظة المحتوى الأصلي يمكن أن تظهر التبعيات فقط في ملف .mm بسبب عدم قدرة Swift على إمكانية التشغيل التفاعلي مع C++.

  • ملف .h

    @interface TFLBertQuestionAnswerer : NSObject
  
    // Delegate calls to the native BertQuestionAnswerer::CreateBertQuestionAnswerer
    + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString*)modelPath
                                                  vocabPath:(NSString*)vocabPath
        NS_SWIFT_NAME(mobilebertQuestionAnswerer(modelPath:vocabPath:));
  
    // Delegate calls to the native BertQuestionAnswerer::Answer
    - (NSArray<TFLQAAnswer*>*)answerWithContext:(NSString*)context
                                       question:(NSString*)question
        NS_SWIFT_NAME(answer(context:question:));
  }
  

  • ملف .mm

    using BertQuestionAnswererCPP = ::tflite::task::text::BertQuestionAnswerer;
  
    @implementation TFLBertQuestionAnswerer {
      // define an iVar for the native API object
      std::unique_ptr<QuestionAnswererCPP> _bertQuestionAnswerwer;
    }
  
    // Initialize the native API object
    + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString *)modelPath
                                            vocabPath:(NSString *)vocabPath {
      absl::StatusOr<std::unique_ptr<QuestionAnswererCPP>> cQuestionAnswerer =
          BertQuestionAnswererCPP::CreateBertQuestionAnswerer(MakeString(modelPath),
                                                              MakeString(vocabPath));
      _GTMDevAssert(cQuestionAnswerer.ok(), @"Failed to create BertQuestionAnswerer");
      return [[TFLBertQuestionAnswerer alloc]
          initWithQuestionAnswerer:std::move(cQuestionAnswerer.value())];
    }
  
    // Calls the native API and converts C++ results into ObjC results
    - (NSArray<TFLQAAnswer *> *)answerWithContext:(NSString *)context question:(NSString *)question {
      std::vector<QaAnswerCPP> results =
        _bertQuestionAnswerwer->Answer(MakeString(context), MakeString(question));
      return [self arrayFromVector:results];
    }
  }