MediaPipe ফেস ল্যান্ডমার্কার টাস্ক আপনাকে ছবি এবং ভিডিওতে মুখের ল্যান্ডমার্ক এবং মুখের অভিব্যক্তি সনাক্ত করতে দেয়। আপনি মানুষের মুখের অভিব্যক্তি সনাক্ত করতে, মুখের ফিল্টার এবং প্রভাব প্রয়োগ করতে এবং ভার্চুয়াল অবতার তৈরি করতে এই কাজটি ব্যবহার করতে পারেন। এই টাস্কটি মেশিন লার্নিং (ML) মডেলগুলি ব্যবহার করে যা একক চিত্র বা একটি অবিচ্ছিন্ন চিত্রের সাথে কাজ করতে পারে। টাস্কটি 3-মাত্রিক মুখের ল্যান্ডমার্ক, ব্লেন্ডশেপ স্কোর (মুখের অভিব্যক্তির প্রতিনিধিত্বকারী সহগ) রিয়েল-টাইমে মুখের উপরিভাগের বিস্তারিত অনুমান করতে এবং ইফেক্ট রেন্ডারিংয়ের জন্য প্রয়োজনীয় রূপান্তরগুলি সম্পাদন করার জন্য রূপান্তর ম্যাট্রিক্স আউটপুট করে।
এবার শুরু করা যাক
আপনার লক্ষ্য প্ল্যাটফর্মের জন্য বাস্তবায়ন নির্দেশিকাগুলির একটি অনুসরণ করে এই কাজটি ব্যবহার করা শুরু করুন। এই প্ল্যাটফর্ম-নির্দিষ্ট নির্দেশিকাগুলি আপনাকে এই টাস্কের একটি প্রাথমিক বাস্তবায়নের মাধ্যমে নিয়ে যায়, যার মধ্যে একটি প্রস্তাবিত মডেল এবং প্রস্তাবিত কনফিগারেশন বিকল্পগুলির সাথে কোড উদাহরণ রয়েছে:
- অ্যান্ড্রয়েড - কোড উদাহরণ - গাইড
- পাইথন - কোড উদাহরণ - গাইড
- ওয়েব - কোড উদাহরণ - গাইড
টাস্কের বিবরণ
এই বিভাগটি এই কাজের ক্ষমতা, ইনপুট, আউটপুট এবং কনফিগারেশন বিকল্পগুলি বর্ণনা করে।
বৈশিষ্ট্য
- ইনপুট ইমেজ প্রসেসিং - প্রসেসিং এর মধ্যে রয়েছে ইমেজ রোটেশন, রিসাইজ, নরমালাইজেশন এবং কালার স্পেস কনভার্সন।
- স্কোর থ্রেশহোল্ড - পূর্বাভাস স্কোরের উপর ভিত্তি করে ফলাফল ফিল্টার করুন।
| টাস্ক ইনপুট | টাস্ক আউটপুট |
|---|---|
ফেস ল্যান্ডমার্কার নিম্নলিখিত ডেটা প্রকারগুলির একটির একটি ইনপুট গ্রহণ করে:
| ফেস ল্যান্ডমার্কার নিম্নলিখিত ফলাফলগুলি আউটপুট করে:
|
কনফিগারেশন অপশন
এই কাজের নিম্নলিখিত কনফিগারেশন বিকল্প আছে:
| বিকল্পের নাম | বর্ণনা | মান পরিসীমা | ডিফল্ট মান |
|---|---|---|---|
running_mode | টাস্কের জন্য চলমান মোড সেট করে। তিনটি মোড আছে: IMAGE: একক ইমেজ ইনপুট জন্য মোড. ভিডিও: একটি ভিডিওর ডিকোড করা ফ্রেমের মোড। লাইভ_স্ট্রিম: ইনপুট ডেটার লাইভস্ট্রিমের মোড, যেমন ক্যামেরা থেকে। এই মোডে, ফলাফল শ্রোতাকে অ্যাসিঙ্ক্রোনাসভাবে ফলাফল পেতে একটি শ্রোতা সেট আপ করতে কল করতে হবে। | { IMAGE, VIDEO, LIVE_STREAM } | IMAGE |
num_faces | FaceLandmarker দ্বারা শনাক্ত করা যায় এমন মুখের সর্বাধিক সংখ্যা৷ smoothing শুধুমাত্র প্রয়োগ করা হয় যখন num_faces 1 এ সেট করা হয়। | Integer > 0 | 1 |
min_face_detection_confidence | মুখ শনাক্তকরণ সফল বলে বিবেচিত হওয়ার জন্য সর্বনিম্ন আত্মবিশ্বাসের স্কোর৷ | Float [0.0,1.0] | 0.5 |
min_face_presence_confidence | মুখের ল্যান্ডমার্ক সনাক্তকরণে মুখ উপস্থিতি স্কোরের সর্বনিম্ন আত্মবিশ্বাসের স্কোর। | Float [0.0,1.0] | 0.5 |
min_tracking_confidence | ফেস ট্র্যাকিংয়ের জন্য ন্যূনতম আত্মবিশ্বাসের স্কোর সফল বলে বিবেচিত হবে। | Float [0.0,1.0] | 0.5 |
output_face_blendshapes | ফেস ল্যান্ডমার্কার ফেস ব্লেন্ডশেপ আউটপুট করে কিনা। 3D ফেস মডেল রেন্ডার করার জন্য ফেস ব্লেন্ডশেপ ব্যবহার করা হয়। | Boolean | False |
output_facial_transformation_matrixes | ফেসল্যান্ডমার্কার ফেসিয়াল ট্রান্সফরমেশন ম্যাট্রিক্স আউটপুট করে কিনা। ফেসল্যান্ডমার্কার ম্যাট্রিক্স ব্যবহার করে মুখের ল্যান্ডমার্কগুলিকে ক্যানোনিকাল ফেস মডেল থেকে শনাক্ত করা ফেসে রূপান্তর করতে, যাতে ব্যবহারকারীরা সনাক্ত করা ল্যান্ডমার্কগুলিতে প্রভাব প্রয়োগ করতে পারে৷ | Boolean | False |
result_callback | FaceLandmarker যখন লাইভ স্ট্রিম মোডে থাকে তখন ফলাফল শ্রোতাকে অ্যাসিঙ্ক্রোনাসভাবে ল্যান্ডমার্কারের ফলাফল পেতে সেট করে। চলমান মোড LIVE_STREAM এ সেট করা থাকলেই কেবল ব্যবহার করা যাবে৷ | ResultListener | N/A |
মডেল
ফেস ল্যান্ডমার্কার মুখের ল্যান্ডমার্কের পূর্বাভাস দিতে মডেলের একটি সিরিজ ব্যবহার করে। প্রথম মডেল মুখগুলি সনাক্ত করে, একটি দ্বিতীয় মডেল সনাক্ত করা মুখগুলিতে ল্যান্ডমার্কগুলি সনাক্ত করে এবং একটি তৃতীয় মডেল মুখের বৈশিষ্ট্য এবং অভিব্যক্তি সনাক্ত করতে সেই ল্যান্ডমার্কগুলি ব্যবহার করে৷
নিম্নলিখিত মডেলগুলি একটি ডাউনলোডযোগ্য মডেল বান্ডিলে একসাথে প্যাকেজ করা হয়েছে:
- মুখ সনাক্তকরণ মডেল : কয়েকটি মুখের ল্যান্ডমার্ক সহ মুখের উপস্থিতি সনাক্ত করে।
- ফেস মেশ মডেল : মুখের একটি সম্পূর্ণ ম্যাপিং যোগ করে। মডেলটি 478টি 3-মাত্রিক মুখের ল্যান্ডমার্কের একটি অনুমান আউটপুট করে।
- ব্লেন্ডশেপ ভবিষ্যদ্বাণী মডেল : ফেস মেশ মডেল থেকে আউটপুট গ্রহণ করে 52টি ব্লেন্ডশেপ স্কোর ভবিষ্যদ্বাণী করে, যা মুখের বিভিন্ন অভিব্যক্তির প্রতিনিধিত্বকারী সহগ।
ফেস ডিটেকশন মডেল হল ব্লেজফেস শর্ট-রেঞ্জ মডেল, মোবাইল GPU অনুমানের জন্য অপ্টিমাইজ করা একটি হালকা ওজনের এবং সঠিক ফেস ডিটেক্টর। আরও তথ্যের জন্য, ফেস ডিটেক্টর টাস্ক দেখুন।
নীচের ছবিটি মডেল বান্ডেল আউটপুট থেকে মুখের ল্যান্ডমার্কগুলির একটি সম্পূর্ণ ম্যাপিং দেখায়৷
মুখের ল্যান্ডমার্কগুলির আরও বিশদ দৃশ্যের জন্য, পূর্ণ-আকারের চিত্রটি দেখুন।
| মডেল বান্ডিল | ইনপুট আকৃতি | ডেটা টাইপ | মডেল কার্ড | সংস্করণ |
|---|---|---|---|---|
| ফেসল্যান্ডমার্কার | ফেসডিটেক্টর: 192 x 192 FaceMesh-V2: 256 x 256 ব্লেন্ডশেপ: 1 x 146 x 2 | ভাসা 16 | ফেসডিটেক্টর FaceMesh-V2 ব্লেন্ডশেপ | সর্বশেষ |