分享

2024 年 12 月 11 日

透過 Gemini 2.0 Flash 重新定義影片製作方式

Vishal Dharmadhikari

產品解決方案工程師

Hang Chu

Viggle

Viggle 主頁橫幅

Gemini API 不只可強化應用程式,還能引領創意表達方式的革命。Viggle 是這場革命的先驅,這款 AI 影片應用程式可讓任何人將相片轉換為生動有趣的動畫,並在網路上廣為流傳。透過實驗 Gemini 2.0 Flash 的多模態魔法 (目前僅提供實驗版預覽),特別是其進階的影片理解和音訊輸出功能,以及 Imagen 3 的圖像生成功能,Viggle 正在開發功能,讓使用者能以前所未見的方式,輕鬆將天馬行空的想像變為現實。

Viggle 幕後:運用 Gemini 2.0 Flash 和 Imagen 3 製作 AI 影片

Viggle 可輕鬆將靜態圖片轉換為全身動作動畫影片,在社群媒體平台上引起病毒式內容的熱潮,因此已經吸引數百萬名使用者。Viggle 專注於迷因和舞蹈內容,提供行動應用程式 (iOS 和 Android) 和網頁平台 (viggle.ai)。臉部交換、加入舞蹈動作的圖片動畫,以及將使用者插入電影場景等功能,在 Viggle 的使用者群中相當受歡迎,現在他們正在探索新方法,讓創意更上一層樓。

Viggle 目前正在利用 Gemini 2.0 Flash 和 Imagen 3 的強大功能,製作兩項功能的原型:


  • 圖像轉虛擬影片角色:Viggle 使用 Imagen 3 進行圖像生成,以便建立 AI 輔助角色創作工具。使用者可以提供簡單的文字提示,例如「會跳舞的機器人,眼睛會發光」或「毛茸茸的彩虹龍」,模型就會產生獨特的虛擬角色,讓他們在影片中大放異彩。這些角色會完美整合至 Viggle 的動畫引擎,開啟個人化說故事的無限可能。想像一下,你能親自執導動畫短片,主角全是自己構思的角色,這就是 Viggle 和 Imagen 3 的強大功能。

  • 動態 AI 旁白:Viggle 也運用 Gemini 2.0 Flash 的語音生成功能和深度影片理解能力,開發出可為任何影片加上符合情境的豐富旁白的功能。這不只是單調的語音朗讀劇本,而是由 AI 說書人分析影片內容,找出關鍵時刻、動作,甚至情緒,產生與視覺效果完美搭配的旁白。無論是舞蹈影片的幽默旁白,還是奇幻場景的壯麗描述,AI 旁白都能為觀眾帶來全新的互動體驗。

開啟全新層次的創意與參與度

整合生成式 AI 後,Viggle 的體驗將可透過以下幾個主要方式獲得提升:


  • 簡化角色創作程序:Imagen 3 的圖像產生功能可簡化影片角色的創作和自訂程序。使用者現在可以根據自己的想法產生獨特的角色,不必具備進階設計技能,也不必依賴有限的預設選項。這項簡化的工作流程可讓更多使用者將創意構想化為現實。

  • 更多個人化內容:Gemini 2.0 Flash 可讓使用者製作高度個人化的影片敘事。獨家設計的角色加上生動有趣的 AI 旁白,可打造獨特的敘事內容,強化創作者與觀眾之間的連結。

  • 擴大創作可能性: 虛擬角色和 AI 旁白的結合,可擴大 Viggle 短片的創作潛力。使用者可以探索新的說故事形式,不受傳統影片格式的限制。

展望未來

Viggle 很高興能進一步探索 Gemini 2.0 和圖像生成模型的潛力,以改善平台。我們期望未來 AI 能完美整合至創作流程的每個步驟,讓任何人都能成為影片創作者。

「在 Viggle,每個人都是創作者。我們會製作迷因、探索動態捕捉技術以打造更高階的專案,以及打造自己的多重宇宙。我們相信,透過 Gemini 2.0 Flash 栩栩如生的旁白功能,使用者將能發揮新潛力,以前所未見的方式述說故事。」

— Viggle 創辦人 Hang Chu

Viggle 運用 Gemini 2.0 Flash 和 Imagen 3 的成果,展現 AI 技術在影片製作方面的潛力,並為使用者提供新的自我表達工具。這項合作代表著 AI 技術驅動的說書技術邁向未來的一大步。如要進一步瞭解如何運用 Gemini 建構內容,請參閱 Gemini API 說明文件,並進一步瞭解 Imagen 3 這項圖片生成技術的最新進展。