LangFlip

作用

Langflip 在很大程度上依赖于 Gemini Multimodal API。它会将原始视频发送给 Gemini，并要求 Gemini 执行以下操作：
1. 为视频生成字幕。翻译视频的主要难点之一是保持原视频的节奏。例如，如果我们要将英语视频翻译成德语，翻译内容很可能会比原始视频包含更多字词，时长也会更长。Gemini 能够检测讲者何时休息，并在休息前将字幕分组。
2. 生成翻译内容。同样，我们希望保持原始视频的节奏。Google 翻译会对原始句子进行直译。不过，我们希望翻译内容的时长与原始视频大致相同。Gemini 能够生成与原始句子大致相同字符数的翻译。
3. 检测需要进行口型同步的帧，我们只想发送讲者清晰可见且在与口型同步 AI 模型对话的帧。如果我们向 AI 发送没有可见面孔的帧，它可能会崩溃并导致口型同步流程失败。Gemini 提供发送视频和接收视频中讲者出现的所有时间戳的功能。