TextEmbedder

টেক্সট এম্বেডিং নিষ্কাশন সঞ্চালন.

এই API (ঐচ্ছিক) TFLite মডেল মেটাডেটা সহ একটি TFLite মডেল আশা করে।

int32 ইনপুট টেনসর সহ মডেলগুলির জন্য মেটাডেটা প্রয়োজন কারণ এতে মডেলের টোকেনাইজারের জন্য ইনপুট প্রক্রিয়া ইউনিট রয়েছে। স্ট্রিং ইনপুট টেনসর সহ মডেলগুলির জন্য কোনও মেটাডেটার প্রয়োজন নেই৷

• ইনপুট টেনসর
  • তিনটি ইনপুট টেনসর ( kTfLiteInt32 ) আকারের [batch_size x bert_max_seq_len] ইনপুট আইডি, মাস্ক আইডি এবং সেগমেন্ট আইডি প্রতিনিধিত্ব করে। এই ইনপুট স্বাক্ষরের জন্য মডেল মেটাডেটাতে একটি বার্ট টোকেনাইজার প্রক্রিয়া ইউনিট প্রয়োজন।
  • অথবা একটি ইনপুট টেনসর ( kTfLiteInt32 ) আকারের [batch_size x max_seq_len] ইনপুট আইডি প্রতিনিধিত্ব করে। এই ইনপুট স্বাক্ষরের জন্য মডেল মেটাডেটাতে একটি Regex Tokenizer প্রক্রিয়া ইউনিট প্রয়োজন।
  • অথবা একটি ইনপুট টেনসর ( kTfLiteString ) যা আকারহীন বা ইনপুট স্ট্রিং ধারণকারী আকৃতি [1] আছে।
• কমপক্ষে একটি আউটপুট টেনসর ( kTfLiteFloat32 / kTfLiteUint8 ) আকৃতি [1 x N] সহ যেখানে N হল উৎপাদিত এমবেডিংয়ের মাত্রার সংখ্যা।