LangFlip

وظيفتها

تعتمد Langflip بشكل كبير على واجهة برمجة التطبيقات Gemini Multimodal API. سيتم إرسال الفيديو الأصلي إلى Gemini وطلب إجراء ما يلي :
1. إنشاء ترجمة وشرح للفيديوهات: إنّ الحفاظ على إيقاع الفيديو الأصلي هو أحد التعقيدات الرئيسية في ترجمة الفيديوهات. على سبيل المثال، إذا أردنا ترجمة فيديو باللغة الإنجليزية إلى الألمانية، من المرجّح جدًا أن يتضمّن الترجمة كلمات أكثر وسيكون أطول من الفيديو الأصلي. يتيح Gemini إمكانية رصد فترات الراحة التي يتخذها المتحدّث وتجميع الترجمة إلى أن يبدأ فاصل.
2. نريد الحفاظ على إيقاع الفيديوهات الأصلية، لذا يُرجى إنشاء الترجمات. ستقدّم خدمة "ترجمة Google" ترجمة حرفية للجمل الأصلية. ومع ذلك، نريد أن تكون الترجمات بالطول نفسه تقريبًا للفيديو الأصلي. توفّر خدمة Gemini إمكانية إنشاء ترجمات تتضمّن عدد الأحرف نفسه تقريبًا الذي تتضمّنه الجملة الأصلية التي تتم ترجمتها.
3. رصد اللقطات التي يجب مزامنة المحتوى الصوتي فيها مع المحتوى المرئي: نريد إرسال اللقطات التي يظهر فيها المتحدّث بوضوح ويتحدث إلى نموذج الذكاء الاصطناعي الذي يُجري مزامنة المحتوى الصوتي مع المحتوى المرئي فقط. إذا أرسلنا إلى الذكاء الاصطناعي لقطات لا تظهر فيها وجوه، قد يتعطّل ويؤدي ذلك إلى تعذُّر مزامنة الشفاه. يتيح لك Gemini إرسال الفيديو وتلقّي جميع الطوابع الزمنية التي يظهر فيها المتحدّث في الفيديو.