LangFlip

यह क्या करता है

Langflip, Gemini Multimodal API पर काफ़ी निर्भर करता है. यह ओरिजनल वीडियो को Gemini पर भेजेगा और Gemini से ये काम करने के लिए कहेगा :
1. वीडियो के लिए कैप्शन जनरेट करना. वीडियो का अनुवाद करते समय, ओरिजनल वीडियो के लय को बनाए रखना एक बड़ी चुनौती होती है. उदाहरण के लिए, अगर हमें किसी अंग्रेज़ी वीडियो का अनुवाद जर्मन में करना है, तो हो सकता है कि अनुवाद में ज़्यादा शब्द हों और वह ओरिजनल वीडियो से लंबा हो. Gemini, स्पीकर के ब्रेक लेने का पता लगाने और ब्रेक तक कैप्शन को ग्रुप करने की सुविधा देता है.
2. अनुवाद जनरेट करें. हम ओरिजनल वीडियो के लय को बनाए रखना चाहते हैं. Google Translate, मूल वाक्यों का अनुवाद शब्द के हिसाब से करेगा. हालांकि, हमें अनुवादों की अवधि, ओरिजनल वीडियो की अवधि के बराबर या उससे ज़्यादा होनी चाहिए. Gemini, अनुवाद किए गए मूल वाक्य के बराबर या उससे कम वर्णों के साथ अनुवाद जनरेट करने की सुविधा देता है.
3. यह पता लगाएं कि किन फ़्रेम को लिप-सिंक करना है. हम सिर्फ़ ऐसे फ़्रेम भेजना चाहते हैं जिनमें स्पीकर साफ़ तौर पर दिख रहा हो और लिप-सिंक करने वाले एआई मॉडल से बात कर रहा हो. अगर एआई को ऐसे फ़्रेम भेजे जाते हैं जिनमें चेहरा नहीं दिख रहा है, तो हो सकता है कि एआई क्रैश हो जाए और लिप-सिंक करने की प्रोसेस पूरी न हो पाए. Gemini की मदद से, वीडियो भेजा जा सकता है और वीडियो में स्पीकर के दिखने के सभी टाइमस्टैंप पाए जा सकते हैं.