나만의 Task API 빌드

네이티브 API와 마찬가지로 API 객체를 빌드하려면 클라이언트가 다음 정보를 BaseTaskApi님, 모든 Java Task API에 JNI 처리를 제공합니다.

• API I/O 확인 - 일반적으로 네이티브 인터페이스를 미러링합니다. 예: BertQuestionAnswerer는 (String context, String question)를 입력으로 사용합니다. 그리고 List<QaAnswer>를 출력합니다. 구현은 비공개 네이티브를 호출합니다. 함수를 사용할 수 있습니다. 단, C++에서 반환된 포인터인 추가 매개변수 long nativeHandle가 있다는 점이 다릅니다.

  class BertQuestionAnswerer extends BaseTaskApi {
    public List<QaAnswer> answer(String context, String question) {
      return answerNative(getNativeHandle(), context, question);
    }
  
    private static native List<QaAnswer> answerNative(
                                          long nativeHandle, // C++ pointer
                                          String context, String question // API I/O
                                         );
  
  }
  

• API의 팩토리 함수 만들기 - 네이티브 팩토리도 미러링합니다. 함수도 포함되어야 하며, Android 팩토리 함수도 Context 를 참조하세요. 이 구현은 TaskJniUtils 드림 를 사용하여 해당 C++ API 객체를 빌드하고 해당 포인터를 BaseTaskApi 생성자.

    class BertQuestionAnswerer extends BaseTaskApi {
      private static final String BERT_QUESTION_ANSWERER_NATIVE_LIBNAME =
                                                "bert_question_answerer_jni";
  
      // Extending super constructor by providing the
      // native handle(pointer of corresponding C++ API object)
      private BertQuestionAnswerer(long nativeHandle) {
        super(nativeHandle);
      }
  
      public static BertQuestionAnswerer createBertQuestionAnswerer(
                                          Context context, // Accessing Android files
                                          String pathToModel, String pathToVocab) {
        return new BertQuestionAnswerer(
            // The util first try loads the JNI module with name
            // BERT_QUESTION_ANSWERER_NATIVE_LIBNAME, then opens two files,
            // converts them into ByteBuffer, finally ::initJniWithBertByteBuffers
            // is called with the buffer for a C++ API object pointer
            TaskJniUtils.createHandleWithMultipleAssetFilesFromLibrary(
                context,
                BertQuestionAnswerer::initJniWithBertByteBuffers,
                BERT_QUESTION_ANSWERER_NATIVE_LIBNAME,
                pathToModel,
                pathToVocab));
      }
  
      // modelBuffers[0] is tflite model file buffer, and modelBuffers[1] is vocab file buffer.
      // returns C++ API object pointer casted to long
      private static native long initJniWithBertByteBuffers(ByteBuffer... modelBuffers);
  
    }
  

• 네이티브 함수를 위한 JNI 모듈 구현 - 모든 자바 네이티브 메서드 JNI에서 해당하는 네이티브 함수를 호출하여 모듈을 마칩니다 팩토리 함수는 네이티브 API 객체를 만들고 포인터를 Java에 대한 긴 유형이라고 할 수 있습니다. 이후 Java API 호출에서 long 유형 포인터가 다시 JNI로 전달되고 네이티브 API 객체로 다시 캐스팅됩니다. 그런 다음 네이티브 API 결과가 Java 결과로 다시 변환됩니다.

  예를 들어, bert_question_answerer_jni 구현됩니다

    // Implements BertQuestionAnswerer::initJniWithBertByteBuffers
    extern "C" JNIEXPORT jlong JNICALL
    Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_initJniWithBertByteBuffers(
        JNIEnv* env, jclass thiz, jobjectArray model_buffers) {
      // Convert Java ByteBuffer object into a buffer that can be read by native factory functions
      absl::string_view model =
          GetMappedFileBuffer(env, env->GetObjectArrayElement(model_buffers, 0));
  
      // Creates the native API object
      absl::StatusOr<std::unique_ptr<QuestionAnswerer>> status =
          BertQuestionAnswerer::CreateFromBuffer(
              model.data(), model.size());
      if (status.ok()) {
        // converts the object pointer to jlong and return to Java.
        return reinterpret_cast<jlong>(status->release());
      } else {
        return kInvalidPointer;
      }
    }
  
    // Implements BertQuestionAnswerer::answerNative
    extern "C" JNIEXPORT jobject JNICALL
    Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_answerNative(
    JNIEnv* env, jclass thiz, jlong native_handle, jstring context, jstring question) {
    // Convert long to native API object pointer
    QuestionAnswerer* question_answerer = reinterpret_cast<QuestionAnswerer*>(native_handle);
  
    // Calls the native API
    std::vector<QaAnswer> results = question_answerer->Answer(JStringToString(env, context),
                                           JStringToString(env, question));
  
    // Converts native result(std::vector<QaAnswer>) to Java result(List<QaAnswerer>)
    jclass qa_answer_class =
      env->FindClass("org/tensorflow/lite/task/text/qa/QaAnswer");
    jmethodID qa_answer_ctor =
      env->GetMethodID(qa_answer_class, "<init>", "(Ljava/lang/String;IIF)V");
    return ConvertVectorToArrayList<QaAnswer>(
      env, results,
      [env, qa_answer_class, qa_answer_ctor](const QaAnswer& ans) {
        jstring text = env->NewStringUTF(ans.text.data());
        jobject qa_answer =
            env->NewObject(qa_answer_class, qa_answer_ctor, text, ans.pos.start,
                           ans.pos.end, ans.pos.logit);
        env->DeleteLocalRef(text);
        return qa_answer;
      });
    }
  
    // Implements BaseTaskApi::deinitJni by delete the native object
    extern "C" JNIEXPORT void JNICALL Java_task_core_BaseTaskApi_deinitJni(
        JNIEnv* env, jobject thiz, jlong native_handle) {
      delete reinterpret_cast<QuestionAnswerer*>(native_handle);
    }
  

iOS API

네이티브 API 객체를 ObjC API 객체로 래핑하여 iOS API를 만듭니다. 이 생성된 API 객체를 ObjC 또는 Swift에서 사용할 수 있습니다. iOS API에는 네이티브 API를 먼저 빌드해야 합니다

사용 예시

이것은 ObjC를 사용한 예입니다. TFLBertQuestionAnswerer 드림 (MobileBert용) 있습니다.

  static let mobileBertModelPath = "path/to/model.tflite";
  // Create the API from a model file and vocabulary file
  let mobileBertAnswerer = TFLBertQuestionAnswerer.mobilebertQuestionAnswerer(
      modelPath: mobileBertModelPath)

  static let context = ...; // context of a question to be answered
  static let question = ...; // question to be answered
  // ask a question
  let answers = mobileBertAnswerer.answer(
      context: TFLBertQuestionAnswererTest.context, question: TFLBertQuestionAnswererTest.question)
  // answers.[0].text is the best answer

API 빌드

그림 4. iOS Task API

iOS API는 네이티브 API 위에 있는 간단한 ObjC 래퍼입니다. API 빌드 방법 다음 단계를 따르세요.

• ObjC 래퍼 정의: ObjC 클래스를 정의하고 이를 해당 네이티브 API 객체에 추가합니다. 네이티브 Swift에서 다음 기능을 지원하지 않기 때문에 종속 항목은 .mm 파일에만 나타날 수 있습니다. 상호 운용이 가능합니다.

  • .h 파일

    @interface TFLBertQuestionAnswerer : NSObject
  
    // Delegate calls to the native BertQuestionAnswerer::CreateBertQuestionAnswerer
    + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString*)modelPath
                                                  vocabPath:(NSString*)vocabPath
        NS_SWIFT_NAME(mobilebertQuestionAnswerer(modelPath:vocabPath:));
  
    // Delegate calls to the native BertQuestionAnswerer::Answer
    - (NSArray<TFLQAAnswer*>*)answerWithContext:(NSString*)context
                                       question:(NSString*)question
        NS_SWIFT_NAME(answer(context:question:));
  }
  

  • .mm 파일

    using BertQuestionAnswererCPP = ::tflite::task::text::BertQuestionAnswerer;
  
    @implementation TFLBertQuestionAnswerer {
      // define an iVar for the native API object
      std::unique_ptr<QuestionAnswererCPP> _bertQuestionAnswerwer;
    }
  
    // Initialize the native API object
    + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString *)modelPath
                                            vocabPath:(NSString *)vocabPath {
      absl::StatusOr<std::unique_ptr<QuestionAnswererCPP>> cQuestionAnswerer =
          BertQuestionAnswererCPP::CreateBertQuestionAnswerer(MakeString(modelPath),
                                                              MakeString(vocabPath));
      _GTMDevAssert(cQuestionAnswerer.ok(), @"Failed to create BertQuestionAnswerer");
      return [[TFLBertQuestionAnswerer alloc]
          initWithQuestionAnswerer:std::move(cQuestionAnswerer.value())];
    }
  
    // Calls the native API and converts C++ results into ObjC results
    - (NSArray<TFLQAAnswer *> *)answerWithContext:(NSString *)context question:(NSString *)question {
      std::vector<QaAnswerCPP> results =
        _bertQuestionAnswerwer->Answer(MakeString(context), MakeString(question));
      return [self arrayFromVector:results];
    }
  }