Tłumacz i synchronizuj swoje filmy z dźwiękiem w dowolnym języku.
Działanie
Langflip w dużej mierze korzysta z interfejsu Gemini Multimodal API. Prześle on oryginalny film do Gemini i poprosi go o : 1. generować napisy do filmów. Jednym z głównych problemów związanych z tłumaczeniem filmów jest zachowanie rytmu oryginalnego filmu. Jeśli na przykład chcemy przetłumaczyć film z języka angielskiego na niemiecki, jest bardzo prawdopodobne, że przetłumaczenie będzie dłuższe i zawierać więcej słów niż oryginalny film. Gemini umożliwia wykrywanie przerw w mowie i grupowanie napisów do momentu przerwy. 2. Wygeneruj tłumaczenia. Ponownie chcemy zachować rytm oryginalnych filmów. Tłumacz Google zapewni dosłowne tłumaczenie oryginalnych zdań. Chcemy jednak, aby tłumaczenia były mniej więcej tak samo długie jak oryginalny film. Gemini umożliwia generowanie tłumaczeń z mniej więcej taką samą liczbą znaków jak w tłumaczonym zdaniu. 3. wykrywanie, które klatki wymagają synchronizacji z ruchem warg. Chcemy wysyłać tylko te klatki, na których wyraźnie widać mówiącego, Jeśli wyślemy do AI klatki bez widocznej twarzy, może to spowodować jej zawieszenie i nieudane zsynchronizowanie ruchu warg. Gemini umożliwia wysyłanie filmów i otrzymywanie wszystkich sygnatur czasowych, w których widać osobę mówiącą.
Utworzone za pomocą
Flutter
Firebase
Zespół
Autor:
Rémy Menard
Od
Francja
[[["Łatwo zrozumieć","easyToUnderstand","thumb-up"],["Rozwiązało to mój problem","solvedMyProblem","thumb-up"],["Inne","otherUp","thumb-up"]],[["Brak potrzebnych mi informacji","missingTheInformationINeed","thumb-down"],["Zbyt skomplikowane / zbyt wiele czynności do wykonania","tooComplicatedTooManySteps","thumb-down"],["Nieaktualne treści","outOfDate","thumb-down"],["Problem z tłumaczeniem","translationIssue","thumb-down"],["Problem z przykładami/kodem","samplesCodeIssue","thumb-down"],["Inne","otherDown","thumb-down"]],[],[],[],null,["# LangFlip\n\n[More Apps](/competition/vote) \n\nLangFlip\n========\n\nTranslate \\& Lip-sync your videos into any language. \nVote \nVoted!\nWhat it does\n\nLangflip relies heavily on the Gemini Multimodal API. It will send the original video to Gemini and ask Gemini to : \n1. Generate captions for the videos, one of the main complexities of translating videos is maintaining the rhythm of the original video. For example, if we want to translate an English video into German, it is very likely that the translation will have more words and will be longer than the original video. Gemini gives the ability to detect when the speaker takes a break and group the caption until a break. \n2. Generate the translations, again, we want to maintain the rhythm of the original videos. Google Translate will provide a literal translation of the original sentences. However, we want translations that are more or less the same length as the original video. Gemini gives the ability to generate translations with more or less the same number of characters than the original sentence translated. \n3. Detect which frames need to be lip-synced, we want to send only the frames where the speaker is clearly visible and talking to the lip-syncing AI model. If we send frames with no visible face to the AI, it might crash and fail the lip-syncing process. Gemini provides the ability to send the video and receive all the timestamps where the speaker appears in the video. \nBuilt with\n\n- Flutter\n- Firebase \nTeam \nBy\n\nRémy Menard \nFrom\n\nFrance \n[](/competition/vote)"]]
