Videolarınızı istediğiniz dile çevirin ve dudak senkronizasyonu yapın.
Ne işe yarar?
Langflip, çoklu format destekli Gemini API'yi yoğun şekilde kullanır. Orijinal video Gemini'ye gönderilir ve Gemini'den şunlar istenir : 1. Videolar için altyazılar oluşturun. Videoları çevirmenin en zor kısımlarından biri, orijinal videonun ritmini korumaktır. Örneğin, İngilizce bir videoyu Almancaya çevirmek istediğimizde çevirinin orijinal videodan daha uzun olması ve daha fazla kelime içermesi muhtemeldir. Gemini, konuşmacının ne zaman ara verdiğini algılamanıza ve ara verene kadar altyazı gruplandırmanıza olanak tanır. 2. Orijinal videoların ritmini korumak için çevirileri oluşturun. Google Çeviri, orijinal cümlelerin kelime kelime çevirisini sağlar. Ancak çevirilerin orijinal videoyla aşağı yukarı aynı uzunlukta olmasını isteriz. Gemini, çevrilen orijinal cümleyle yaklaşık olarak aynı sayıda karakter içeren çeviriler oluşturmanıza olanak tanır. 3. Hangi karelerin dudak senkronizasyonu gerektirdiğini algılayın. Yalnızca konuşmacının net bir şekilde görüldüğü ve dudak senkronizasyonu yapan yapay zeka modeline konuşan kareleri göndermek isteriz. Yapay zekaya görünen yüzü olmayan kareler gönderirseniz yapay zeka kilitlenebilir ve dudak senkronizasyonu işlemi başarısız olabilir. Gemini, videoyu gönderme ve konuşmacının videoda göründüğü tüm zaman damgalarını alma olanağı sunar.
Aşağıdakilerle tasarlandı:
Flutter
Firebase
Takım
Değişikliği yapan
Rémy Menard
Nereden
Fransa
[[["Anlaması kolay","easyToUnderstand","thumb-up"],["Sorunumu çözdü","solvedMyProblem","thumb-up"],["Diğer","otherUp","thumb-up"]],[["İhtiyacım olan bilgiler yok","missingTheInformationINeed","thumb-down"],["Çok karmaşık / çok fazla adım var","tooComplicatedTooManySteps","thumb-down"],["Güncel değil","outOfDate","thumb-down"],["Çeviri sorunu","translationIssue","thumb-down"],["Örnek veya kod sorunu","samplesCodeIssue","thumb-down"],["Diğer","otherDown","thumb-down"]],[],[],[],null,["# LangFlip\n\n[More Apps](/competition/vote) \n\nLangFlip\n========\n\nTranslate \\& Lip-sync your videos into any language. \nVote \nVoted!\nWhat it does\n\nLangflip relies heavily on the Gemini Multimodal API. It will send the original video to Gemini and ask Gemini to : \n1. Generate captions for the videos, one of the main complexities of translating videos is maintaining the rhythm of the original video. For example, if we want to translate an English video into German, it is very likely that the translation will have more words and will be longer than the original video. Gemini gives the ability to detect when the speaker takes a break and group the caption until a break. \n2. Generate the translations, again, we want to maintain the rhythm of the original videos. Google Translate will provide a literal translation of the original sentences. However, we want translations that are more or less the same length as the original video. Gemini gives the ability to generate translations with more or less the same number of characters than the original sentence translated. \n3. Detect which frames need to be lip-synced, we want to send only the frames where the speaker is clearly visible and talking to the lip-syncing AI model. If we send frames with no visible face to the AI, it might crash and fail the lip-syncing process. Gemini provides the ability to send the video and receive all the timestamps where the speaker appears in the video. \nBuilt with\n\n- Flutter\n- Firebase \nTeam \nBy\n\nRémy Menard \nFrom\n\nFrance \n[](/competition/vote)"]]
