LangFlip

Fungsinya

Langflip sangat bergantung pada Gemini Multimodal API. Tindakan ini akan mengirim video asli ke Gemini dan meminta Gemini untuk :
1. Membuat teks untuk video. Salah satu kerumitan utama dalam menerjemahkan video adalah mempertahankan ritme video asli. Misalnya, jika kita ingin menerjemahkan video berbahasa Inggris ke bahasa Jerman, kemungkinan besar terjemahan tersebut akan memiliki lebih banyak kata dan akan lebih panjang daripada video aslinya. Gemini memberikan kemampuan untuk mendeteksi kapan pembicara beristirahat dan mengelompokkan teks hingga istirahat.
2. Buat terjemahan, sekali lagi, kita ingin mempertahankan ritme video asli. Google Terjemahan akan memberikan terjemahan literal dari kalimat asli. Namun, kami ingin terjemahan yang berdurasi kurang lebih sama dengan video aslinya. Gemini memberikan kemampuan untuk menghasilkan terjemahan dengan jumlah karakter yang kurang lebih sama dengan kalimat asli yang diterjemahkan.
3. Mendeteksi frame mana yang perlu disinkronkan dengan gerakan bibir, kita hanya ingin mengirim frame yang menampilkan pembicara dengan jelas dan berbicara ke model AI sinkronisasi bibir. Jika kita mengirim frame tanpa wajah yang terlihat ke AI, AI tersebut mungkin akan error dan gagal dalam proses sinkronisasi bibir. Gemini menyediakan kemampuan untuk mengirim video dan menerima semua stempel waktu saat pembicara muncul dalam video.