LangFlip

תיאור

Langflip מסתמך במידה רבה על Gemini Multimodal API. המערכת תשלח את הסרטון המקורי ל-Gemini ותבקש מ-Gemini :
1. ליצור כתוביות לסרטונים. אחת מהבעיות המורכבות ביותר בתרגום סרטונים היא שמירה על הקצב של הסרטון המקורי. לדוגמה, אם אנחנו רוצים לתרגם סרטון באנגלית לגרמנית, סביר מאוד שהתרגום יכלול יותר מילים ויהיה ארוך יותר מהסרטון המקורי. Gemini מאפשר לזהות מתי הדובר או הדוברת יוצאים להפסקה ולקבץ את הכתוביות עד להפסקה.
2. יצירת התרגומים. שוב, אנחנו רוצים לשמור על הקצב של הסרטונים המקוריים. Google Translate יספק תרגום מילולי של המשפטים המקוריים. עם זאת, אנחנו רוצים שהתרגומים יהיו באורך דומה לזה של הסרטון המקורי. בעזרת Gemini אפשר ליצור תרגומים עם מספר תווים דומה לזה של המשפט המקורי שתורגם.
3. זיהוי הפריימים שצריך לבצע בהם סינכרון בין שפתיים. אנחנו רוצים לשלוח רק את הפריימים שבהם הדובר גלוי בבירור ומדבר אל מודל ה-AI לסינכרון בין שפתיים. אם נשלח ל-AI פריימים שבהם לא רואים פנים, יכול להיות שהוא יקרוס ולא יסיים את תהליך הסנכרון עם השפתיים. Gemini מאפשר לשלוח את הסרטון ולקבל את כל חותמות הזמן שבהן הדובר מופיע בסרטון.