MediaPipe Face Landmarker টাস্ক আপনাকে ছবি এবং ভিডিওতে মুখের ল্যান্ডমার্ক এবং মুখের অভিব্যক্তি সনাক্ত করতে দেয়। আপনি এই টাস্কটি ব্যবহার করে মানুষের মুখের অভিব্যক্তি সনাক্ত করতে, মুখের ফিল্টার এবং প্রভাব প্রয়োগ করতে এবং ভার্চুয়াল অবতার তৈরি করতে পারেন। এই টাস্কটি মেশিন লার্নিং (ML) মডেল ব্যবহার করে যা একক চিত্র বা ছবির একটি অবিচ্ছিন্ন প্রবাহের সাথে কাজ করতে পারে। টাস্কটি ত্রিমাত্রিক মুখের ল্যান্ডমার্ক, ব্লেন্ডশেপ স্কোর (মুখের অভিব্যক্তি প্রতিনিধিত্বকারী সহগ) আউটপুট করে রিয়েল-টাইমে বিশদ মুখের পৃষ্ঠতল অনুমান করতে এবং প্রভাব রেন্ডারিংয়ের জন্য প্রয়োজনীয় রূপান্তর সম্পাদন করতে রূপান্তর ম্যাট্রিক্স আউটপুট করে।
শুরু করুন
আপনার টার্গেট প্ল্যাটফর্মের জন্য বাস্তবায়ন নির্দেশিকাগুলির একটি অনুসরণ করে এই কাজটি ব্যবহার শুরু করুন। এই প্ল্যাটফর্ম-নির্দিষ্ট নির্দেশিকাগুলি আপনাকে এই কাজের মৌলিক বাস্তবায়নের মাধ্যমে পরিচালিত করবে, যার মধ্যে একটি প্রস্তাবিত মডেল এবং প্রস্তাবিত কনফিগারেশন বিকল্প সহ কোড উদাহরণ অন্তর্ভুক্ত থাকবে:
- অ্যান্ড্রয়েড - কোড উদাহরণ - গাইড
- পাইথন - কোড উদাহরণ - গাইড
- ওয়েব - কোড উদাহরণ - গাইড
টাস্কের বিবরণ
এই বিভাগটি এই কাজের ক্ষমতা, ইনপুট, আউটপুট এবং কনফিগারেশন বিকল্পগুলি বর্ণনা করে।
ফিচার
- ইনপুট ইমেজ প্রসেসিং - প্রসেসিং এর মধ্যে রয়েছে ইমেজ রোটেশন, রিসাইজিং, নরমালাইজেশন এবং কালার স্পেস কনভার্সন।
- স্কোর থ্রেশহোল্ড - পূর্বাভাস স্কোরের উপর ভিত্তি করে ফলাফল ফিল্টার করুন।
| টাস্ক ইনপুট | টাস্ক আউটপুট |
|---|---|
ফেস ল্যান্ডমার্কার নিম্নলিখিত ডেটা টাইপগুলির মধ্যে একটির ইনপুট গ্রহণ করে:
| ফেস ল্যান্ডমার্কার নিম্নলিখিত ফলাফলগুলি দেখায়:
|
কনফিগারেশনের বিকল্পগুলি
এই টাস্কে নিম্নলিখিত কনফিগারেশন বিকল্পগুলি রয়েছে:
| বিকল্পের নাম | বিবরণ | মূল্য পরিসীমা | ডিফল্ট মান |
|---|---|---|---|
running_mode | টাস্কের জন্য রানিং মোড সেট করে। তিনটি মোড আছে: চিত্র: একক চিত্র ইনপুটগুলির জন্য মোড। ভিডিও: একটি ভিডিওর ডিকোড করা ফ্রেমের মোড। LIVE_STREAM: ক্যামেরার মতো ইনপুট ডেটার লাইভস্ট্রিমের মোড। এই মোডে, অ্যাসিঙ্ক্রোনাসভাবে ফলাফল গ্রহণের জন্য একটি শ্রোতা সেট আপ করার জন্য resultListener কে কল করতে হবে। | { IMAGE, VIDEO, LIVE_STREAM } | IMAGE |
num_faces | FaceLandmarker দ্বারা সর্বাধিক কতগুলি মুখ সনাক্ত করা যেতে পারে। স্মুথিং শুধুমাত্র তখনই প্রয়োগ করা হয় যখন num_faces 1 তে সেট করা থাকে। | Integer > 0 | 1 |
min_face_detection_confidence | মুখ সনাক্তকরণ সফল বলে বিবেচিত হওয়ার জন্য ন্যূনতম আত্মবিশ্বাসের স্কোর। | Float [0.0,1.0] | 0.5 |
min_face_presence_confidence | মুখের ল্যান্ডমার্ক সনাক্তকরণে মুখের উপস্থিতি স্কোরের ন্যূনতম আত্মবিশ্বাস স্কোর। | Float [0.0,1.0] | 0.5 |
min_tracking_confidence | ফেস ট্র্যাকিং সফল বলে বিবেচিত হওয়ার জন্য ন্যূনতম আত্মবিশ্বাসের স্কোর। | Float [0.0,1.0] | 0.5 |
output_face_blendshapes | ফেস ল্যান্ডমার্কার ফেস ব্লেন্ডশেপ আউটপুট করে কিনা। 3D ফেস মডেল রেন্ডার করার জন্য ফেস ব্লেন্ডশেপ ব্যবহার করা হয়। | Boolean | False |
output_facial_transformation_matrixes | ফেসল্যান্ডমার্কার ফেসিয়াল ট্রান্সফর্মেশন ম্যাট্রিক্স আউটপুট করে কিনা। ফেসল্যান্ডমার্কার ম্যাট্রিক্স ব্যবহার করে ফেস ল্যান্ডমার্কগুলিকে একটি ক্যানোনিকাল ফেস মডেল থেকে ডিটেকশন করা ফেসে রূপান্তর করে, যাতে ব্যবহারকারীরা ডিটেকশন করা ল্যান্ডমার্কগুলিতে ইফেক্ট প্রয়োগ করতে পারেন। | Boolean | False |
result_callback | FaceLandmarker লাইভ স্ট্রিম মোডে থাকাকালীন ফলাফল শ্রোতাকে ল্যান্ডমার্কারের ফলাফল অ্যাসিঙ্ক্রোনাসভাবে গ্রহণ করার জন্য সেট করে। শুধুমাত্র রানিং মোড LIVE_STREAM এ সেট করা থাকলে ব্যবহার করা যেতে পারে। | ResultListener | N/A |
মডেল
ফেস ল্যান্ডমার্কার মুখের ল্যান্ডমার্কগুলির পূর্বাভাস দেওয়ার জন্য একাধিক মডেল ব্যবহার করে। প্রথম মডেলটি মুখগুলি সনাক্ত করে, দ্বিতীয় মডেলটি সনাক্ত করা মুখগুলিতে ল্যান্ডমার্কগুলি সনাক্ত করে এবং তৃতীয় মডেলটি মুখের বৈশিষ্ট্য এবং অভিব্যক্তি সনাক্ত করার জন্য সেই ল্যান্ডমার্কগুলি ব্যবহার করে।
নিম্নলিখিত মডেলগুলি একটি ডাউনলোডযোগ্য মডেল বান্ডেলে একসাথে প্যাকেজ করা হয়েছে:
- মুখ সনাক্তকরণ মডেল : কয়েকটি গুরুত্বপূর্ণ মুখের ল্যান্ডমার্ক সহ মুখের উপস্থিতি সনাক্ত করে।
- ফেস মেশ মডেল : মুখের একটি সম্পূর্ণ ম্যাপিং যোগ করে। মডেলটি ৪৭৮টি ত্রিমাত্রিক মুখের ল্যান্ডমার্কের একটি অনুমান আউটপুট দেয়।
- ব্লেন্ডশেপ প্রেডিকশন মডেল : ফেস মেশ মডেল থেকে আউটপুট গ্রহণ করে ৫২টি ব্লেন্ডশেপ স্কোরের পূর্বাভাস দেয়, যা মুখের বিভিন্ন অভিব্যক্তির প্রতিনিধিত্বকারী সহগ।
মুখ সনাক্তকরণ মডেলটি হল BlazeFace স্বল্প-পরিসরের মডেল, এটি একটি হালকা এবং নির্ভুল মুখ সনাক্তকারী যা মোবাইল GPU অনুমানের জন্য অপ্টিমাইজ করা হয়েছে। আরও তথ্যের জন্য, মুখ সনাক্তকারী কাজটি দেখুন।
নীচের ছবিটি মডেল বান্ডেল আউটপুট থেকে মুখের ল্যান্ডমার্কগুলির সম্পূর্ণ ম্যাপিং দেখায়।
মুখের ল্যান্ডমার্কগুলির আরও বিশদ দেখার জন্য, পূর্ণ-আকারের ছবিটি দেখুন।
| মডেল বান্ডেল | ইনপুট আকৃতি | ডেটা টাইপ | মডেল কার্ড | সংস্করণ |
|---|---|---|---|---|
| ফেসল্যান্ডমার্কার | ফেসডিটেক্টর: ১৯২ x ১৯২ ফেসমেশ-ভি২: ২৫৬ x ২৫৬ ব্লেন্ডশেপ: ১ x ১৪৬ x ২ | ভাসা ১৬ | ফেসডিটেক্টর ফেসমেশ-ভি২ ব্লেন্ডশেপ | সর্বশেষ |