공유

2024년 12월 11일

Gemini 2.0 Flash로 동영상 제작 재구상하기

비샬 다르마디카리

제품 솔루션 엔지니어

Hang Chu

Viggle

Viggle 쇼케이스 히어로

Gemini API는 앱을 개선하는 데 그치지 않고 창의적인 표현에 혁명을 일으키고 있습니다. 누구나 사진을 매력적인 애니메이션으로 변환할 수 있는 바이럴 AI 동영상 센세이션인 Viggle이 이러한 혁명의 선두에 있습니다. 현재 실험 버전 미리보기에서만 제공되는 Gemini 2.0 Flash의 멀티모달 기능을 실험해 보면서(특히 Imagen 3의 이미지 생성 기능과 함께 고급 동영상 이해 및 오디오 출력 기능) Viggle은 사용자가 이전에는 불가능했던 방식으로 가장 대담한 상상을 손쉽게 현실로 구현할 수 있는 기능을 구축하고 있습니다.

Viggle 내부: Gemini 2.0 Flash 및 Imagen 3로 AI 동영상 제작 지원

Viggle은 정지된 사진을 전신 움직임이 있는 애니메이션 동영상으로 쉽게 변환하는 기능으로 이미 수백만 명의 사용자를 사로잡았으며, 소셜 미디어 플랫폼 전반에서 바이럴 콘텐츠를 유발하고 있습니다. 밈과 댄스 콘텐츠에 중점을 둔 Viggle은 모바일 앱 (iOS 및 Android)과 웹 플랫폼 (viggle.ai)을 제공합니다. 얼굴 바꾸기, 춤 동작으로 사진에 애니메이션 적용, 영화 장면에 사용자 삽입과 같은 기능은 이미 Viggle 사용자층 사이에서 인기가 높으며, 이제 창의력을 한 단계 끌어올릴 새로운 방법을 모색하고 있습니다.

현재 Viggle은 Gemini 2.0 Flash와 Imagen 3의 성능을 활용하는 두 가지 기능을 프로토타입으로 제작하고 있습니다.


  • 이미지 기반 가상 동영상 캐릭터: Viggle은 이미지 생성에 Imagen 3를 사용하여 AI 기반 캐릭터 제작 도구를 만듭니다. 사용자는 '눈이 빛나는 춤추는 로봇' 또는 '무지개색의 푹신한 용'과 같은 간단한 텍스트 프롬프트를 제공할 수 있으며, 모델은 동영상에 출연할 준비가 된 독특한 가상 캐릭터를 만들어 냅니다. 이러한 캐릭터는 Viggle의 애니메이션 엔진에 원활하게 통합되어 맞춤형 스토리텔링의 가능성을 열어줍니다. 상상력으로 탄생한 캐릭터가 등장하는 나만의 애니메이션 단편 영화를 연출한다고 상상해 보세요. Viggle과 Imagen 3를 사용하면 이 모든 것을 직접 만들 수 있습니다.

  • 동적 AI 내레이션: Viggle은 Gemini 2.0 Flash의 음성 생성 기능과 심층적인 동영상 이해 기능을 활용하여 모든 동영상에 맥락이 풍부한 음성 해설을 추가하는 기능을 개발하고 있습니다. 스크립트를 읽는 단조로운 음성이 아니라 동영상의 콘텐츠를 분석하여 주요 순간, 행동, 감정까지 파악해 시각적 요소를 완벽하게 보완하는 내레이션을 생성하는 AI 스토리텔러입니다. 춤 동영상에 대한 유머러스한 해설이든 판타지 장면의 장대한 설명이든 AI 내레이터는 완전히 새로운 차원의 참여를 더합니다.

새로운 수준의 창의성과 참여도 달성

생성형 AI의 통합은 다음과 같은 여러 가지 주요 방식으로 Viggle 환경을 개선할 수 있습니다.


  • 간소화된 캐릭터 생성: Imagen 3의 이미지 생성은 동영상 캐릭터를 만들고 맞춤설정하는 프로세스를 간소화합니다. 이제 사용자는 아이디어를 기반으로 고유한 캐릭터를 생성할 수 있으므로 고급 디자인 기술이 필요하지 않으며 제한된 사전 설정 옵션에 의존하지 않아도 됩니다. 이 간소화된 워크플로를 통해 더 많은 사용자가 창의적인 비전을 실현할 수 있습니다.

  • 더욱 맞춤화된 콘텐츠: Gemini 2.0 Flash를 사용하면 사용자가 고도로 맞춤화된 동영상 내러티브를 만들 수 있습니다. 맞춤 디자인된 캐릭터와 역동적인 AI 내레이션을 결합하여 크리에이터와 시청자 간의 유대감을 강화하는 독특한 스토리텔링을 구현할 수 있습니다.

  • 확장된 창작 가능성: 가상 캐릭터와 AI 내레이션의 조합으로 Viggle의 짧은 동영상의 창작 가능성이 확장됩니다. 사용자는 기존 동영상 형식을 넘어 새로운 형태의 스토리텔링을 탐색할 수 있습니다.

향후 계획

Viggle은 Gemini 2.0과 이미지 생성 모델의 잠재력을 더 자세히 살펴보고 플랫폼을 개선할 계획이며, AI가 창작 과정의 모든 단계에 원활하게 통합되어 누구나 동영상 크리에이터가 될 수 있는 미래를 구상하고 있습니다.

“Viggle에서는 누구나 크리에이터입니다. 밈을 만들고, 차세대 프로젝트를 위한 모션 캡처를 탐색하고, 자체 멀티버스를 구축하고 있습니다. Gemini 2.0 Flash의 생생한 음성 내레이션 기능을 통해 사용자는 새로운 가능성을 열어 이전과는 다른 방식으로 스토리텔링을 제작할 수 있을 것입니다.”

— 항 추, Viggle 설립자

Gemini 2.0 Flash 및 Imagen 3를 사용한 Viggle의 작업은 AI가 동영상 제작을 혁신하고 사용자가 자기 표현을 위한 새로운 도구를 사용할 수 있도록 지원할 수 있는 잠재력을 보여줍니다. 이번 협업은 AI 기반 스토리텔링의 미래를 향한 발걸음입니다. Gemini를 사용한 빌드에 대해 자세히 알아보려면 Gemini API 문서를 참고하고 이미지 생성의 최신 발전에 대한 Imagen 3에 대해 자세히 알아보세요.