भाषा का पता लगाने वाली गाइड

MediaPipe भाषा डिटेक्टर टास्क से, आपको टेक्स्ट के किसी हिस्से की भाषा की पहचान करने में मदद मिलती है. यह टास्क, मशीन लर्निंग (एमएल) मॉडल वाले टेक्स्ट डेटा पर काम करता है और अनुमानों की एक सूची देता है. यहां हर अनुमान में एक ISO 639-1 भाषा कोड और कोई संभावना होती है.

इसे आज़माएं!

शुरू करें

अपने टारगेट प्लैटफ़ॉर्म के लिए, इनमें से किसी एक को लागू करने की गाइड का पालन करके इस टास्क का इस्तेमाल शुरू करें. इन प्लैटफ़ॉर्म की गाइड में, इस टास्क को लागू करने की बुनियादी जानकारी दी जाती है. इसमें, सुझाए गए मॉडल और सुझाए गए कॉन्फ़िगरेशन विकल्पों के साथ कोड के उदाहरण भी शामिल होते हैं:

टास्क की जानकारी

इस सेक्शन में इस टास्क की क्षमताओं, इनपुट, आउटपुट, और कॉन्फ़िगरेशन के विकल्पों के बारे में बताया गया है.

सुविधाएं

  • स्कोर थ्रेशोल्ड - अनुमान के स्कोर के आधार पर नतीजों को फ़िल्टर करें
  • लेबल की अनुमति वाली सूची और ब्लॉकलिस्ट - उन कैटगरी की जानकारी दें जिन पर गौर किया गया है
टास्क के इनपुट टास्क के आउटपुट
भाषा का पता लगाने वाला टूल इस तरह के इनपुट को स्वीकार करता है:
  • स्ट्रिंग
 भाषा का पता लगाने वाला टूल, सुझावों की एक सूची दिखाता है, जिसमें ये शामिल हैं:
    • भाषा का कोड: ISO 639-1 (https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes) भाषा या स्थान-भाषा का कोड (उदाहरण के लिए, अंग्रेज़ी के लिए "en", उज़्बेक के लिए "uz" और जैपनीज़ (रोमाजी) के लिए "ja-Latn”.
    • प्रॉबबिलिटी: इस अनुमान के लिए कॉन्फ़िडेंस स्कोर, जिसे शून्य और एक के बीच प्रॉबबिलिटी के तौर पर फ़्लोटिंग पॉइंट वैल्यू के रूप में दिखाया जाता है.

कॉन्फ़िगरेशन के विकल्प

इस टास्क में कॉन्फ़िगरेशन के ये विकल्प हैं:

विकल्प का नाम ब्यौरा वैल्यू रेंज डिफ़ॉल्ट मान
max_results नतीजे दिखाने के लिए, सबसे ज़्यादा स्कोर किए गए भाषा के सुझावों की ज़्यादा से ज़्यादा वैकल्पिक संख्या सेट करता है. अगर यह वैल्यू शून्य से कम है, तो सभी उपलब्ध नतीजे दिखाए जाते हैं. कोई भी पॉज़िटिव नंबर -1
score_threshold अनुमान के स्कोर का थ्रेशोल्ड सेट करता है, जो मॉडल मेटाडेटा (अगर कोई है) में दिए गए स्कोर को बदलता है. इस वैल्यू से कम के नतीजे अस्वीकार कर दिए गए हैं. कोई भी फ़्लोट सेट नहीं किया गया है
category_allowlist अनुमति वाली भाषा के कोड की वैकल्पिक सूची सेट करता है. अगर यह खाली नहीं है, तो ऐसे भाषा के अनुमान फ़िल्टर कर दिए जाएँगे जिनका भाषा कोड इस सेट में नहीं है. यह विकल्प category_denylist के साथ म्यूचुअली एक्सक्लूसिव है और इसके दोनों नतीजों का इस्तेमाल करने में गड़बड़ी है. कोई भी स्ट्रिंग सेट नहीं किया गया है
category_denylist उन भाषा कोड की वैकल्पिक सूची सेट करता है जिनकी अनुमति नहीं है. अगर यह खाली नहीं है, तो ऐसे भाषा के अनुमान फ़िल्टर करके बाहर कर दिए जाएंगे जिनका भाषा कोड इस सेट में होगा. यह विकल्प category_allowlist के साथ म्यूचुअली एक्सक्लूसिव है और दोनों नतीजों का इस्तेमाल करने में गड़बड़ी होती है. कोई भी स्ट्रिंग सेट नहीं किया गया है

मॉडल

जब आप इस टास्क के साथ डेवलप करना शुरू करते हैं, तब हम डिफ़ॉल्ट के तौर पर सुझाया गया मॉडल ऑफ़र करते हैं.

इस मॉडल को लाइटवेट (315 केबी) में बनाया गया है और इसमें एम्बेडिंग-आधारित, न्यूरल नेटवर्क क्लासिफ़िकेशन आर्किटेक्चर का इस्तेमाल किया जाता है. यह मॉडल ISO 639-1 भाषा कोड का इस्तेमाल करके, भाषा की पहचान करता है और 110 भाषाओं की पहचान कर सकता है. मॉडल पर इस्तेमाल की जा सकने वाली भाषाओं की सूची के लिए, लेबल फ़ाइल देखें. इसमें ISO 639-1 कोड के हिसाब से भाषाओं की सूची होती है.

मॉडल का नाम इनपुट का आकार क्वांटाइज़ेशन का टाइप मॉडल कार्ड वर्शन
भाषा की पहचान करने वाला टूल स्ट्रिंग UTF-8 कोई नहीं (फ़्लोट 32) जानकारी नए

टास्क के मानदंड

यहां पहले से ट्रेन किए गए मॉडल पर आधारित पूरी पाइपलाइन के लिए टास्क के मानदंड दिए गए हैं. इंतज़ार के समय का नतीजा यह पता चलता है कि Pixel 6 को सीपीयू / जीपीयू का इस्तेमाल करके औसतन इंतज़ार किया जा सकता है.

मॉडल का नाम सीपीयू (CPU) के इस्तेमाल में होने वाला समय जीपीयू इंतज़ार का समय
भाषा की पहचान करने वाला टूल 0.31 मि॰से॰ -