LangFlip

기능

Langflip은 Gemini 멀티모달 API를 많이 사용합니다. 원본 동영상을 Gemini로 전송하고 Gemini에게 다음 작업을 요청합니다.
1. 동영상의 자막을 생성합니다. 동영상을 번역할 때 가장 복잡한 점 중 하나는 원본 동영상의 리듬을 유지하는 것입니다. 예를 들어 영어 동영상을 독일어로 번역하려는 경우 번역된 동영상이 원본 동영상보다 단어가 더 많고 길어질 가능성이 큽니다. Gemini를 사용하면 발표자가 휴식을 취할 때를 감지하고 휴식 시간까지 자막을 그룹화할 수 있습니다.
2. 번역을 생성합니다. 원본 동영상의 리듬을 유지해야 합니다. Google 번역은 원래 문장의 문자 그대로의 번역을 제공합니다. 하지만 원본 동영상과 거의 동일한 길이의 번역이 필요합니다. Gemini를 사용하면 번역된 원래 문장과 거의 동일한 문자 수를 사용하여 번역을 생성할 수 있습니다.
3. 립싱크가 필요한 프레임을 감지합니다. 화자가 명확하게 보이고 립싱크 AI 모델에 말하는 프레임만 전송합니다. 얼굴이 보이지 않는 프레임을 AI에 전송하면 비정상 종료되어 립싱크 프로세스가 실패할 수 있습니다. Gemini는 동영상을 전송하고 동영상에서 발표자가 등장하는 모든 타임스탬프를 수신하는 기능을 제공합니다.