টেনসরফ্লো লাইট টাস্ক লাইব্রেরি একই পরিকাঠামোর উপরে প্রিবিল্ট সি++, অ্যান্ড্রয়েড এবং আইওএস এপিআই সরবরাহ করে যা টেনসরফ্লোকে বিমূর্ত করে। আপনার মডেল বিদ্যমান টাস্ক লাইব্রেরি দ্বারা সমর্থিত না হলে আপনি কাস্টমাইজড API তৈরি করতে টাস্ক API পরিকাঠামো প্রসারিত করতে পারেন।
ওভারভিউ
টাস্ক এপিআই অবকাঠামোর একটি দ্বি-স্তর কাঠামো রয়েছে: নীচের C++ স্তরটি TFLite রানটাইমকে এনক্যাপসুলেট করে এবং উপরের Java/ObjC স্তর যা JNI বা র্যাপারের মাধ্যমে C++ স্তরের সাথে যোগাযোগ করে।
শুধুমাত্র C++-এ সমস্ত TensorFlow লজিক প্রয়োগ করা খরচ কমিয়ে দেয়, ইনফারেন্স পারফরম্যান্সকে সর্বাধিক করে এবং প্ল্যাটফর্ম জুড়ে সামগ্রিক কর্মপ্রবাহকে সহজ করে।
একটি টাস্ক ক্লাস তৈরি করতে, TFLite মডেল ইন্টারফেস এবং টাস্ক API ইন্টারফেসের মধ্যে রূপান্তর যুক্তি প্রদান করতে BaseTaskApi প্রসারিত করুন, তারপর সংশ্লিষ্ট API তৈরি করতে Java/ObjC ইউটিলিটিগুলি ব্যবহার করুন৷ সমস্ত TensorFlow বিবরণ লুকিয়ে রেখে, আপনি কোনো মেশিন লার্নিং জ্ঞান ছাড়াই আপনার অ্যাপে TFLite মডেল স্থাপন করতে পারেন।
টেনসরফ্লো লাইট সর্বাধিক জনপ্রিয় ভিশন এবং এনএলপি কাজের জন্য কিছু পূর্বনির্মাণ API সরবরাহ করে। আপনি টাস্ক API পরিকাঠামো ব্যবহার করে অন্যান্য কাজের জন্য আপনার নিজস্ব API তৈরি করতে পারেন।
টাস্ক API ইনফ্রা দিয়ে আপনার নিজস্ব API তৈরি করুন
C++ API
সমস্ত TFLite বিশদ C++ API এ প্রয়োগ করা হয়। ফ্যাক্টরি ফাংশনগুলির একটি ব্যবহার করে একটি API অবজেক্ট তৈরি করুন এবং ইন্টারফেসে সংজ্ঞায়িত ফাংশনগুলিকে কল করে মডেল ফলাফল পান৷
নমুনা ব্যবহার
এখানে মোবাইলবার্টের জন্য C++ BertQuestionAnswerer
ব্যবহার করে একটি উদাহরণ দেওয়া হল।
char kBertModelPath[] = "path/to/model.tflite";
// Create the API from a model file
std::unique_ptr<BertQuestionAnswerer> question_answerer =
BertQuestionAnswerer::CreateFromFile(kBertModelPath);
char kContext[] = ...; // context of a question to be answered
char kQuestion[] = ...; // question to be answered
// ask a question
std::vector<QaAnswer> answers = question_answerer.Answer(kContext, kQuestion);
// answers[0].text is the best answer
API তৈরি করা
একটি API অবজেক্ট তৈরি করতে, আপনাকে BaseTaskApi
প্রসারিত করে নিম্নলিখিত তথ্য প্রদান করতে হবে
API I/O নির্ধারণ করুন - আপনার API বিভিন্ন প্ল্যাটফর্ম জুড়ে অনুরূপ ইনপুট/আউটপুট প্রকাশ করা উচিত। যেমন
BertQuestionAnswerer
ইনপুট হিসাবে দুটি স্ট্রিং(std::string& context, std::string& question)
নেয় এবংstd::vector<QaAnswer>
হিসাবে সম্ভাব্য উত্তর এবং সম্ভাব্যতার একটি ভেক্টর আউটপুট করে। এটিBaseTaskApi
এর টেমপ্লেট প্যারামিটারে সংশ্লিষ্ট প্রকারগুলি নির্দিষ্ট করে করা হয়। নির্দিষ্ট টেমপ্লেট প্যারামিটারের সাথে,BaseTaskApi::Infer
ফাংশনে সঠিক ইনপুট/আউটপুট প্রকার থাকবে। এই ফাংশনটি API ক্লায়েন্টদের দ্বারা সরাসরি কল করা যেতে পারে, তবে এটি একটি মডেল-নির্দিষ্ট ফাংশনের ভিতরে মোড়ানো একটি ভাল অভ্যাস, এই ক্ষেত্রে,BertQuestionAnswerer::Answer
।class BertQuestionAnswerer : public BaseTaskApi< std::vector<QaAnswer>, // OutputType const std::string&, const std::string& // InputTypes > { // Model specific function delegating calls to BaseTaskApi::Infer std::vector<QaAnswer> Answer(const std::string& context, const std::string& question) { return Infer(context, question).value(); } }
এপিআই I/O এবং মডেলের ইনপুট/আউটপুট টেনসরের মধ্যে রূপান্তর যুক্তি প্রদান করুন - ইনপুট এবং আউটপুট প্রকারগুলি নির্দিষ্ট করার সাথে, সাবক্লাসগুলিকে টাইপ করা ফাংশনগুলি
BaseTaskApi::Preprocess
এবংBaseTaskApi::Postprocess
প্রয়োগ করতে হবে। দুটি ফাংশন TFLiteFlatBuffer
থেকে ইনপুট এবং আউটপুট প্রদান করে। সাবক্লাস API I/O থেকে I/O টেনসরগুলিতে মান নির্ধারণের জন্য দায়ী।BertQuestionAnswerer
এ সম্পূর্ণ বাস্তবায়ন উদাহরণ দেখুন।class BertQuestionAnswerer : public BaseTaskApi< std::vector<QaAnswer>, // OutputType const std::string&, const std::string& // InputTypes > { // Convert API input into tensors absl::Status BertQuestionAnswerer::Preprocess( const std::vector<TfLiteTensor*>& input_tensors, // input tensors of the model const std::string& context, const std::string& query // InputType of the API ) { // Perform tokenization on input strings ... // Populate IDs, Masks and SegmentIDs to corresponding input tensors PopulateTensor(input_ids, input_tensors[0]); PopulateTensor(input_mask, input_tensors[1]); PopulateTensor(segment_ids, input_tensors[2]); return absl::OkStatus(); } // Convert output tensors into API output StatusOr<std::vector<QaAnswer>> // OutputType BertQuestionAnswerer::Postprocess( const std::vector<const TfLiteTensor*>& output_tensors, // output tensors of the model ) { // Get start/end logits of prediction result from output tensors std::vector<float> end_logits; std::vector<float> start_logits; // output_tensors[0]: end_logits FLOAT[1, 384] PopulateVector(output_tensors[0], &end_logits); // output_tensors[1]: start_logits FLOAT[1, 384] PopulateVector(output_tensors[1], &start_logits); ... std::vector<QaAnswer::Pos> orig_results; // Look up the indices from vocabulary file and build results ... return orig_results; } }
API-এর ফ্যাক্টরি ফাংশন তৈরি করুন -
tflite::Interpreter
শুরু করার জন্য একটি মডেল ফাইল এবং একটিOpResolver
প্রয়োজন।TaskAPIFactory
BaseTaskApi দৃষ্টান্ত তৈরি করতে ইউটিলিটি ফাংশন প্রদান করে।আপনাকে অবশ্যই মডেলের সাথে যুক্ত যেকোনো ফাইল প্রদান করতে হবে। যেমন,
BertQuestionAnswerer
এর টোকেনাইজারের শব্দভান্ডারের জন্য একটি অতিরিক্ত ফাইলও থাকতে পারে।class BertQuestionAnswerer : public BaseTaskApi< std::vector<QaAnswer>, // OutputType const std::string&, const std::string& // InputTypes > { // Factory function to create the API instance StatusOr<std::unique_ptr<QuestionAnswerer>> BertQuestionAnswerer::CreateBertQuestionAnswerer( const std::string& path_to_model, // model to passed to TaskApiFactory const std::string& path_to_vocab // additional model specific files ) { // Creates an API object by calling one of the utils from TaskAPIFactory std::unique_ptr<BertQuestionAnswerer> api_to_init; ASSIGN_OR_RETURN( api_to_init, core::TaskAPIFactory::CreateFromFile<BertQuestionAnswerer>( path_to_model, absl::make_unique<tflite::ops::builtin::BuiltinOpResolver>(), kNumLiteThreads)); // Perform additional model specific initializations // In this case building a vocabulary vector from the vocab file. api_to_init->InitializeVocab(path_to_vocab); return api_to_init; } }
অ্যান্ড্রয়েড এপিআই
জাভা/কোটলিন ইন্টারফেস সংজ্ঞায়িত করে এবং JNI-এর মাধ্যমে C++ স্তরে যুক্তি অর্পণ করে Android API তৈরি করুন। Android API-এর জন্য প্রথমে নেটিভ API তৈরি করা প্রয়োজন।
নমুনা ব্যবহার
এখানে MobileBert এর জন্য Java BertQuestionAnswerer
ব্যবহার করে একটি উদাহরণ দেওয়া হল।
String BERT_MODEL_FILE = "path/to/model.tflite";
String VOCAB_FILE = "path/to/vocab.txt";
// Create the API from a model file and vocabulary file
BertQuestionAnswerer bertQuestionAnswerer =
BertQuestionAnswerer.createBertQuestionAnswerer(
ApplicationProvider.getApplicationContext(), BERT_MODEL_FILE, VOCAB_FILE);
String CONTEXT = ...; // context of a question to be answered
String QUESTION = ...; // question to be answered
// ask a question
List<QaAnswer> answers = bertQuestionAnswerer.answer(CONTEXT, QUESTION);
// answers.get(0).text is the best answer
API তৈরি করা
নেটিভ API-এর মতো, একটি API অবজেক্ট তৈরি করতে, ক্লায়েন্টকে BaseTaskApi
প্রসারিত করে নিম্নলিখিত তথ্য প্রদান করতে হবে, যা সমস্ত জাভা টাস্ক API-এর জন্য JNI হ্যান্ডলিং প্রদান করে।
API I/O নির্ধারণ করুন - এটি সাধারণত নেটিভ ইন্টারফেসগুলিকে মিরর করে। যেমন
BertQuestionAnswerer
ইনপুট এবং আউটপুটList<QaAnswer>
হিসাবে(String context, String question)
নেয়। বাস্তবায়নটি অনুরূপ স্বাক্ষর সহ একটি প্রাইভেট নেটিভ ফাংশনকে কল করে, ব্যতীত এটিতে একটি অতিরিক্ত প্যারামিটার রয়েছেlong nativeHandle
, যা সি++ থেকে ফিরে আসা পয়েন্টার।class BertQuestionAnswerer extends BaseTaskApi { public List<QaAnswer> answer(String context, String question) { return answerNative(getNativeHandle(), context, question); } private static native List<QaAnswer> answerNative( long nativeHandle, // C++ pointer String context, String question // API I/O ); }
এপিআই-এর ফ্যাক্টরি ফাংশন তৈরি করুন - এটি নেটিভ ফ্যাক্টরি ফাংশনগুলিকেও মিরর করে, অ্যান্ড্রয়েড ফ্যাক্টরি ফাংশনগুলি ছাড়া ফাইল অ্যাক্সেসের জন্য
Context
নিতে হবে। ইমপ্লিমেন্টেশনTaskJniUtils
এর একটি ইউটিলিটিকে কল করে সংশ্লিষ্ট C++ API অবজেক্ট তৈরি করতে এবং এর পয়েন্টারকেBaseTaskApi
কনস্ট্রাক্টরের কাছে পাঠাতে।class BertQuestionAnswerer extends BaseTaskApi { private static final String BERT_QUESTION_ANSWERER_NATIVE_LIBNAME = "bert_question_answerer_jni"; // Extending super constructor by providing the // native handle(pointer of corresponding C++ API object) private BertQuestionAnswerer(long nativeHandle) { super(nativeHandle); } public static BertQuestionAnswerer createBertQuestionAnswerer( Context context, // Accessing Android files String pathToModel, String pathToVocab) { return new BertQuestionAnswerer( // The util first try loads the JNI module with name // BERT_QUESTION_ANSWERER_NATIVE_LIBNAME, then opens two files, // converts them into ByteBuffer, finally ::initJniWithBertByteBuffers // is called with the buffer for a C++ API object pointer TaskJniUtils.createHandleWithMultipleAssetFilesFromLibrary( context, BertQuestionAnswerer::initJniWithBertByteBuffers, BERT_QUESTION_ANSWERER_NATIVE_LIBNAME, pathToModel, pathToVocab)); } // modelBuffers[0] is tflite model file buffer, and modelBuffers[1] is vocab file buffer. // returns C++ API object pointer casted to long private static native long initJniWithBertByteBuffers(ByteBuffer... modelBuffers); }
নেটিভ ফাংশনগুলির জন্য JNI মডিউল প্রয়োগ করুন - সমস্ত জাভা নেটিভ পদ্ধতি JNI মডিউল থেকে একটি সংশ্লিষ্ট নেটিভ ফাংশন কল করে প্রয়োগ করা হয়। ফ্যাক্টরি ফাংশন একটি নেটিভ API অবজেক্ট তৈরি করবে এবং এর পয়েন্টারটিকে জাভাতে একটি লম্বা টাইপ হিসাবে ফিরিয়ে দেবে। জাভা API-তে পরবর্তী কলগুলিতে, দীর্ঘ টাইপ পয়েন্টার JNI-এ ফেরত পাঠানো হয় এবং নেটিভ API অবজেক্টে ফেরত পাঠানো হয়। নেটিভ API ফলাফলগুলি আবার জাভা ফলাফলে রূপান্তরিত হয়।
উদাহরণস্বরূপ, এইভাবে bert_question_answerer_jni প্রয়োগ করা হয়।
// Implements BertQuestionAnswerer::initJniWithBertByteBuffers extern "C" JNIEXPORT jlong JNICALL Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_initJniWithBertByteBuffers( JNIEnv* env, jclass thiz, jobjectArray model_buffers) { // Convert Java ByteBuffer object into a buffer that can be read by native factory functions absl::string_view model = GetMappedFileBuffer(env, env->GetObjectArrayElement(model_buffers, 0)); // Creates the native API object absl::StatusOr<std::unique_ptr<QuestionAnswerer>> status = BertQuestionAnswerer::CreateFromBuffer( model.data(), model.size()); if (status.ok()) { // converts the object pointer to jlong and return to Java. return reinterpret_cast<jlong>(status->release()); } else { return kInvalidPointer; } } // Implements BertQuestionAnswerer::answerNative extern "C" JNIEXPORT jobject JNICALL Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_answerNative( JNIEnv* env, jclass thiz, jlong native_handle, jstring context, jstring question) { // Convert long to native API object pointer QuestionAnswerer* question_answerer = reinterpret_cast<QuestionAnswerer*>(native_handle); // Calls the native API std::vector<QaAnswer> results = question_answerer->Answer(JStringToString(env, context), JStringToString(env, question)); // Converts native result(std::vector<QaAnswer>) to Java result(List<QaAnswerer>) jclass qa_answer_class = env->FindClass("org/tensorflow/lite/task/text/qa/QaAnswer"); jmethodID qa_answer_ctor = env->GetMethodID(qa_answer_class, "<init>", "(Ljava/lang/String;IIF)V"); return ConvertVectorToArrayList<QaAnswer>( env, results, [env, qa_answer_class, qa_answer_ctor](const QaAnswer& ans) { jstring text = env->NewStringUTF(ans.text.data()); jobject qa_answer = env->NewObject(qa_answer_class, qa_answer_ctor, text, ans.pos.start, ans.pos.end, ans.pos.logit); env->DeleteLocalRef(text); return qa_answer; }); } // Implements BaseTaskApi::deinitJni by delete the native object extern "C" JNIEXPORT void JNICALL Java_task_core_BaseTaskApi_deinitJni( JNIEnv* env, jobject thiz, jlong native_handle) { delete reinterpret_cast<QuestionAnswerer*>(native_handle); }
iOS API
একটি ObjC API অবজেক্টে একটি নেটিভ API অবজেক্ট মোড়ানোর মাধ্যমে iOS API তৈরি করুন। তৈরি API অবজেক্ট ObjC বা Swift-এ ব্যবহার করা যেতে পারে। iOS API এর জন্য প্রথমে নেটিভ API তৈরি করা প্রয়োজন।
নমুনা ব্যবহার
এখানে Swift-এ MobileBert- এর জন্য ObjC TFLBertQuestionAnswerer
ব্যবহার করে একটি উদাহরণ দেওয়া হল।
static let mobileBertModelPath = "path/to/model.tflite";
// Create the API from a model file and vocabulary file
let mobileBertAnswerer = TFLBertQuestionAnswerer.mobilebertQuestionAnswerer(
modelPath: mobileBertModelPath)
static let context = ...; // context of a question to be answered
static let question = ...; // question to be answered
// ask a question
let answers = mobileBertAnswerer.answer(
context: TFLBertQuestionAnswererTest.context, question: TFLBertQuestionAnswererTest.question)
// answers.[0].text is the best answer
API তৈরি করা
iOS API হল নেটিভ API-এর উপরে একটি সাধারণ ObjC মোড়ক। নীচের পদক্ষেপগুলি অনুসরণ করে API তৈরি করুন:
ObjC র্যাপার সংজ্ঞায়িত করুন - একটি ObjC ক্লাস সংজ্ঞায়িত করুন এবং সংশ্লিষ্ট নেটিভ API অবজেক্টে বাস্তবায়ন অর্পণ করুন। মনে রাখবেন যে C++ এর সাথে সুইফটের ইন্টারপ করতে অক্ষমতার কারণে নেটিভ নির্ভরতা শুধুমাত্র একটি .mm ফাইলে দেখা যেতে পারে।
- .h ফাইল
@interface TFLBertQuestionAnswerer : NSObject // Delegate calls to the native BertQuestionAnswerer::CreateBertQuestionAnswerer + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString*)modelPath vocabPath:(NSString*)vocabPath NS_SWIFT_NAME(mobilebertQuestionAnswerer(modelPath:vocabPath:)); // Delegate calls to the native BertQuestionAnswerer::Answer - (NSArray<TFLQAAnswer*>*)answerWithContext:(NSString*)context question:(NSString*)question NS_SWIFT_NAME(answer(context:question:)); }
- .mm ফাইল
using BertQuestionAnswererCPP = ::tflite::task::text::BertQuestionAnswerer; @implementation TFLBertQuestionAnswerer { // define an iVar for the native API object std::unique_ptr<QuestionAnswererCPP> _bertQuestionAnswerwer; } // Initialize the native API object + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString *)modelPath vocabPath:(NSString *)vocabPath { absl::StatusOr<std::unique_ptr<QuestionAnswererCPP>> cQuestionAnswerer = BertQuestionAnswererCPP::CreateBertQuestionAnswerer(MakeString(modelPath), MakeString(vocabPath)); _GTMDevAssert(cQuestionAnswerer.ok(), @"Failed to create BertQuestionAnswerer"); return [[TFLBertQuestionAnswerer alloc] initWithQuestionAnswerer:std::move(cQuestionAnswerer.value())]; } // Calls the native API and converts C++ results into ObjC results - (NSArray<TFLQAAnswer *> *)answerWithContext:(NSString *)context question:(NSString *)question { std::vector<QaAnswerCPP> results = _bertQuestionAnswerwer->Answer(MakeString(context), MakeString(question)); return [self arrayFromVector:results]; } }
অন্য কিছু উল্লেখ না করা থাকলে, এই পৃষ্ঠার কন্টেন্ট Creative Commons Attribution 4.0 License-এর অধীনে এবং কোডের নমুনাগুলি Apache 2.0 License-এর অধীনে লাইসেন্স প্রাপ্ত। আরও জানতে, Google Developers সাইট নীতি দেখুন। Java হল Oracle এবং/অথবা তার অ্যাফিলিয়েট সংস্থার রেজিস্টার্ড ট্রেডমার্ক।
2024-09-05 UTC-তে শেষবার আপডেট করা হয়েছে।