TextEmbedder

टेक्स्ट पर एम्बेडिंग एक्सट्रैक्ट करता है.

इस एपीआई को TFLite मॉडल मेटाडेटा के साथ TFLite मॉडल की ज़रूरत है. हालांकि, ऐसा करना ज़रूरी नहीं है.

int32 इनपुट टेन्सर वाले मॉडल के लिए मेटाडेटा ज़रूरी है, क्योंकि इसमें मॉडल के टोकनाइज़र के लिए इनपुट प्रोसेस यूनिट होती है. स्ट्रिंग इनपुट टेंसर वाले मॉडल के लिए, किसी मेटाडेटा की ज़रूरत नहीं होती.

• इनपुट टेंसर
  • [batch_size x bert_max_seq_len] आकार के तीन इनपुट टेंसर (kTfLiteInt32), इनपुट आईडी, मास्क आईडी, और सेगमेंट आईडी को दिखाते हैं. इस इनपुट सिग्नेचर के लिए, मॉडल मेटाडेटा में बर्ट टोकनाइज़र प्रोसेस यूनिट की ज़रूरत होती है.
  • इसके अलावा, [batch_size x max_seq_len] आकार का एक इनपुट टेंसर (kTfLiteInt32), इनपुट आईडी को दिखा सकता है. इस इनपुट सिग्नेचर के लिए, मॉडल मेटाडेटा में Regex टोकनाइज़र प्रोसेस यूनिट की ज़रूरत होती है.
  • इसके अलावा, एक इनपुट डेंसर (kTfLiteString) है, जो आकार नहीं है या जिसका आकार [1] है, जिसमें इनपुट स्ट्रिंग शामिल है.
• [1 x N] आकार वाला कम से कम एक आउटपुट टेंसर (kTfLiteFloat32/kTfLiteUint8) है, जहां N, बनाए गए एम्बेड में मौजूद डाइमेंशन की संख्या है.