LangFlip

Ý nghĩa

Langflip phụ thuộc nhiều vào API Đa phương thức Gemini. Thao tác này sẽ gửi video gốc đến Gemini và yêu cầu Gemini :
1. Tạo phụ đề cho video. Một trong những điểm phức tạp chính khi dịch video là duy trì nhịp độ của video gốc. Ví dụ: nếu chúng ta muốn dịch một video tiếng Anh sang tiếng Đức, thì rất có thể bản dịch sẽ có nhiều từ hơn và dài hơn video gốc. Gemini có khả năng phát hiện thời điểm người nói nghỉ giải lao và nhóm phụ đề cho đến khi có thời điểm nghỉ giải lao.
2. Tạo bản dịch, một lần nữa, chúng ta muốn duy trì nhịp độ của video gốc. Google Dịch sẽ cung cấp bản dịch theo nghĩa đen của các câu gốc. Tuy nhiên, chúng tôi muốn bản dịch có thời lượng gần bằng với video gốc. Gemini có thể tạo bản dịch có số lượng ký tự gần bằng với số lượng ký tự của câu gốc được dịch.
3. Phát hiện khung hình cần được đồng bộ hoá môi, chúng ta chỉ muốn gửi những khung hình mà người nói xuất hiện rõ ràng và đang nói chuyện với mô hình AI đồng bộ hoá môi. Nếu chúng ta gửi các khung không có khuôn mặt hiển thị đến AI, thì AI có thể gặp sự cố và không thực hiện được quá trình đồng bộ hoá môi. Gemini cung cấp khả năng gửi video và nhận tất cả dấu thời gian mà người nói xuất hiện trong video.