ভাষা সনাক্তকরণ গাইড

MediaPipe ল্যাঙ্গুয়েজ ডিটেক্টর টাস্ক আপনাকে পাঠ্যের একটি অংশের ভাষা সনাক্ত করতে দেয়। এই কাজটি একটি মেশিন লার্নিং (ML) মডেলের সাথে পাঠ্য ডেটাতে কাজ করে এবং ভবিষ্যদ্বাণীগুলির একটি তালিকা আউটপুট করে, যেখানে প্রতিটি ভবিষ্যদ্বাণী একটি ISO 639-1 ভাষা কোড এবং একটি সম্ভাব্যতা নিয়ে গঠিত।

এটা চেষ্টা করুন!

এবার শুরু করা যাক

আপনার লক্ষ্য প্ল্যাটফর্মের জন্য এই বাস্তবায়ন নির্দেশিকাগুলির একটি অনুসরণ করে এই কাজটি ব্যবহার করা শুরু করুন। এই প্ল্যাটফর্ম-নির্দিষ্ট নির্দেশিকাগুলি আপনাকে এই টাস্কের একটি প্রাথমিক বাস্তবায়নের মাধ্যমে নিয়ে যায়, যার মধ্যে একটি প্রস্তাবিত মডেল এবং প্রস্তাবিত কনফিগারেশন বিকল্পগুলির সাথে কোড উদাহরণ রয়েছে:

টাস্কের বিবরণ

এই বিভাগটি এই কাজের ক্ষমতা, ইনপুট, আউটপুট এবং কনফিগারেশন বিকল্পগুলি বর্ণনা করে।

বৈশিষ্ট্য

  • স্কোর থ্রেশহোল্ড - পূর্বাভাস স্কোরের উপর ভিত্তি করে ফলাফল ফিল্টার করুন
  • লেবেল অনুমোদিত তালিকা এবং অস্বীকৃতি - সনাক্ত করা বিভাগগুলি নির্দিষ্ট করুন৷
টাস্ক ইনপুট টাস্ক আউটপুট
ভাষা আবিষ্কারক নিম্নলিখিত ইনপুট ডেটা টাইপ গ্রহণ করে:
  • স্ট্রিং
 ভাষা আবিষ্কারক ভবিষ্যদ্বাণীগুলির একটি তালিকা আউটপুট করে:
    • ভাষার কোড: একটি ISO 639-1 (https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes) ভাষা/স্থানীয় কোড (যেমন ইংরেজির জন্য "en", উজবেকের জন্য "uz", জাপানিদের জন্য "ja-Latn" (রোমাজি)) একটি স্ট্রিং হিসাবে।
    • সম্ভাব্যতা: এই ভবিষ্যদ্বাণীর জন্য আত্মবিশ্বাসের স্কোর, শূন্য এবং একের মধ্যে একটি সম্ভাব্যতা হিসাবে ফ্লোটিং পয়েন্ট মান হিসাবে প্রকাশ করা হয়।

কনফিগারেশন অপশন

এই কাজের নিম্নলিখিত কনফিগারেশন বিকল্প আছে:

বিকল্পের নাম বর্ণনা মান পরিসীমা ডিফল্ট মান
max_results ফিরতে সর্বোচ্চ স্কোর করা ভাষার পূর্বাভাসের ঐচ্ছিক সংখ্যা সেট করে। এই মান শূন্যের কম হলে, সমস্ত উপলব্ধ ফলাফল ফেরত দেওয়া হয়। যেকোনো ইতিবাচক সংখ্যা -1
score_threshold ভবিষ্যদ্বাণী স্কোর থ্রেশহোল্ড সেট করে যা মডেল মেটাডেটাতে প্রদত্ত একটিকে ওভাররাইড করে (যদি থাকে)। এই মানের নিচের ফলাফল প্রত্যাখ্যান করা হয়। কোন ভাসা সেট না
category_allowlist অনুমোদিত ভাষা কোডের ঐচ্ছিক তালিকা সেট করে। যদি খালি না থাকে, ভাষার ভবিষ্যদ্বাণী যার ভাষার কোড এই সেটে নেই সেগুলি ফিল্টার করা হবে৷ এই বিকল্পটি category_denylist সাথে পারস্পরিক একচেটিয়া এবং একটি ত্রুটিতে উভয় ফলাফল ব্যবহার করে। কোনো স্ট্রিং সেট না
category_denylist অনুমোদিত নয় এমন ভাষা কোডের ঐচ্ছিক তালিকা সেট করে। যদি খালি না থাকে, ভাষার ভবিষ্যদ্বাণী যার ভাষার কোড এই সেটে আছে তা ফিল্টার করা হবে। এই বিকল্পটি category_allowlist সাথে পারস্পরিকভাবে একচেটিয়া এবং একটি ত্রুটিতে উভয় ফলাফল ব্যবহার করে। কোনো স্ট্রিং সেট না

মডেল

আপনি যখন এই টাস্কের সাথে বিকাশ শুরু করেন তখন আমরা একটি ডিফল্ট, প্রস্তাবিত মডেল অফার করি।

এই মডেলটি লাইটওয়েট (315 KB) হতে নির্মিত এবং এম্বেডিং-ভিত্তিক, নিউরাল নেটওয়ার্ক শ্রেণীবিভাগ আর্কিটেকচার ব্যবহার করে। মডেলটি একটি ISO 639-1 ভাষা কোড ব্যবহার করে ভাষা সনাক্ত করে এবং 110টি ভাষা সনাক্ত করতে পারে। মডেল দ্বারা সমর্থিত ভাষার তালিকার জন্য, লেবেল ফাইলটি দেখুন, যা তাদের ISO 639-1 কোড দ্বারা ভাষাগুলিকে তালিকাভুক্ত করে৷

ণশড ইনপুট আকৃতি কোয়ান্টাইজেশন টাইপ মডেল কার্ড সংস্করণ
ভাষা আবিষ্কারক স্ট্রিং UTF-8 কোনটিই নয় (float32) তথ্য সর্বশেষ

টাস্ক বেঞ্চমার্ক

উপরের পূর্ব-প্রশিক্ষিত মডেলগুলির উপর ভিত্তি করে পুরো পাইপলাইনের জন্য টাস্ক বেঞ্চমার্কগুলি এখানে রয়েছে৷ CPU/GPU ব্যবহার করে Pixel 6-এর গড় বিলম্বিততার ফলাফল হল লেটেন্সি।

ণশড CPU লেটেন্সি GPU লেটেন্সি
ভাষা আবিষ্কারক 0.31 মি -