LangFlip

Funktion

Langflip setzt stark auf die Gemini Multimodal API. Das Originalvideo wird an Gemini gesendet und Gemini wird gebeten, Folgendes zu tun :
1. Erstelle Untertitel für die Videos. Eine der größten Herausforderungen bei der Übersetzung von Videos besteht darin, den Rhythmus des Originalvideos beizubehalten. Wenn wir beispielsweise ein englisches Video ins Deutsche übersetzen möchten, ist es sehr wahrscheinlich, dass die Übersetzung mehr Wörter enthält und länger ist als das Originalvideo. Gemini kann erkennen, wenn der Sprecher eine Pause macht, und die Untertitel bis zur Pause gruppieren.
2. Erstelle die Übersetzungen. Wir möchten den Rhythmus der Originalvideos beibehalten. Google Übersetzer liefert eine wörtliche Übersetzung der ursprünglichen Sätze. Wir möchten jedoch, dass die Übersetzungen ungefähr so lang sind wie das Originalvideo. Mit Gemini können Übersetzungen mit ungefähr derselben Anzahl von Zeichen wie der ursprüngliche Satz generiert werden.
3. Erkennen, welche Frames synchronisiert werden müssen. Wir möchten nur die Frames senden, in denen der Sprecher deutlich zu sehen ist und mit dem KI-Modell für die Lippensynchronisation spricht. Wenn wir Frames ohne sichtbares Gesicht an die KI senden, stürzt sie möglicherweise ab und die Lippensynchronisation schlägt fehl. Mit Gemini können Sie das Video senden und alle Zeitstempel erhalten, zu denen der Sprecher im Video zu sehen ist.