ল্যাংফ্লিপ

এটা কি করে

ল্যাংফ্লিপ জেমিনি মাল্টিমোডাল এপিআই-এর উপর অনেক বেশি নির্ভর করে। এটি মিথুনকে আসল ভিডিও পাঠাবে এবং মিথুনকে জিজ্ঞাসা করবে:
1. ভিডিওগুলির জন্য ক্যাপশন তৈরি করুন, ভিডিওগুলি অনুবাদ করার প্রধান জটিলতাগুলির মধ্যে একটি হল মূল ভিডিওর ছন্দ বজায় রাখা৷ উদাহরণস্বরূপ, যদি আমরা একটি ইংরেজি ভিডিওকে জার্মান ভাষায় অনুবাদ করতে চাই, তাহলে খুব সম্ভবত অনুবাদে আরও বেশি শব্দ থাকবে এবং মূল ভিডিওর চেয়ে দীর্ঘ হবে৷ মিথুন স্পিকার কখন বিরতি নেয় তা সনাক্ত করার ক্ষমতা দেয় এবং বিরতি না হওয়া পর্যন্ত ক্যাপশনটি গ্রুপ করে।
2. অনুবাদগুলি তৈরি করুন, আবার, আমরা মূল ভিডিওগুলির ছন্দ বজায় রাখতে চাই৷ Google অনুবাদ মূল বাক্যের আক্ষরিক অনুবাদ প্রদান করবে। যাইহোক, আমরা এমন অনুবাদ চাই যা কমবেশি মূল ভিডিওর দৈর্ঘ্যের সমান। মিথুন অনুবাদ তৈরি করার ক্ষমতা দেয় মূল বাক্যের চেয়ে কম বা বেশি অক্ষর দিয়ে।
3. কোন ফ্রেমগুলিকে ঠোঁট-সিঙ্ক করা দরকার তা সনাক্ত করুন, আমরা শুধুমাত্র সেই ফ্রেমগুলি পাঠাতে চাই যেখানে স্পিকার স্পষ্টভাবে দৃশ্যমান এবং লিপ-সিঙ্কিং এআই মডেলের সাথে কথা বলছে৷ যদি আমরা AI-তে কোনও দৃশ্যমান মুখ ছাড়া ফ্রেম পাঠাই, তাহলে এটি ক্র্যাশ হতে পারে এবং ঠোঁট-সিঙ্কিং প্রক্রিয়াটি ব্যর্থ হতে পারে। মিথুন ভিডিও পাঠাতে এবং ভিডিওতে স্পিকার প্রদর্শিত সমস্ত টাইমস্ট্যাম্প গ্রহণ করার ক্ষমতা প্রদান করে৷