LangFlip

کاری که انجام می دهد

Langflip به شدت به Gemini Multimodal API متکی است. ویدیوی اصلی را برای Gemini ارسال می کند و از Gemini می خواهد که:
1. ایجاد زیرنویس برای ویدیوها، یکی از پیچیدگی های اصلی ترجمه ویدیوها حفظ ریتم ویدیوی اصلی است. به عنوان مثال، اگر بخواهیم یک ویدیوی انگلیسی را به آلمانی ترجمه کنیم، به احتمال زیاد این ترجمه کلمات بیشتری داشته باشد و طولانی تر از ویدیوی اصلی باشد. Gemini این توانایی را می دهد که تشخیص دهد گوینده چه زمانی استراحت می کند و زیرنویس را تا زمان استراحت گروه بندی می کند.
2. ترجمه ها را تولید کنید، دوباره می خواهیم ریتم ویدیوهای اصلی را حفظ کنیم. Google Translate ترجمه تحت اللفظی جملات اصلی را ارائه می دهد. با این حال، ما ترجمه هایی می خواهیم که کم و بیش به اندازه ویدیوی اصلی باشد. Gemini این امکان را می دهد که ترجمه هایی با تعداد کاراکترهای کم و بیش مساوی با جمله اصلی ترجمه شده ایجاد کند.
3. تشخیص دهید که کدام فریم ها نیاز به همگام سازی لب دارند، ما می خواهیم فقط فریم هایی را بفرستیم که بلندگو به وضوح قابل مشاهده است و در حال صحبت با مدل هوش مصنوعی لب سینک است. اگر فریم‌هایی را بدون چهره قابل مشاهده به هوش مصنوعی بفرستیم، ممکن است از کار بیفتد و فرآیند همگام‌سازی لب را با شکست مواجه کند. Gemini امکان ارسال ویدیو و دریافت تمام مهرهای زمانی را در جایی که بلندگو در ویدیو ظاهر می شود، فراهم می کند.