分享

2024 年 12 月 11 日

運用 Gemini 2.0 Flash 重新構思影片製作方式

Vishal Dharmadhikari

產品解決方案工程師

Hang Chu

Viggle

Viggle 展示主頁橫幅

Gemini API 不僅能提升應用程式效能,還能引發創意表達方式的革命。Viggle 是近期爆紅的 AI 影片生成工具,可將相片轉換成引人入勝的動畫,引領這場革命。Viggle 正在運用 Gemini 2.0 Flash 的多模態魔力 (目前僅提供實驗性搶先版),結合 Imagen 3 的圖像生成功能,以及 Gemini 2.0 Flash 的進階影片理解和音訊輸出功能,打造各種功能,讓使用者以前所未有的方式,輕鬆將天馬行空的想像化為現實。

Viggle 幕後花絮:透過 Gemini 2.0 Flash 和 Imagen 3 支援 AI 影片創作

Viggle 可輕鬆將靜態圖片轉換為全身動作的動畫影片,已吸引數百萬名使用者,並在社群媒體平台引發熱潮。Viggle 專注於迷因和舞蹈內容,提供行動應用程式 (iOS 和 Android) 和網頁平台 (viggle.ai)。Viggle 的使用者已十分熟悉臉部交換、為圖片加上舞蹈動作動畫,以及將使用者插入電影場景等功能,現在他們正在探索如何以全新方式提升創意。

Viggle 目前正在運用 Gemini 2.0 Flash 和 Imagen 3 的強大功能,開發兩項原型功能:


  • 圖片轉虛擬影片角色:Viggle 使用 Imagen 3 生成圖片,打造 AI 輔助的角色工廠。使用者只要輸入簡單的文字提示 (例如「眼睛發光的跳舞機器人」或「彩虹色的蓬鬆龍」),模型就會生成獨特的虛擬角色,讓使用者在影片中盡情發揮。這些角色隨後會順暢整合至 Viggle 的動畫引擎,開啟個人化故事敘述的無限可能。想像一下,您正在執導自己的動畫短片,片中角色完全來自您的想像力,這就是 Viggle 和 Imagen 3 賦予您的力量。

  • 動態 AI 旁白:Viggle 也運用 Gemini 2.0 Flash 的語音生成和影片深度理解能力,開發出可為任何影片加入豐富情境旁白的功能。這不是單調的聲音朗讀腳本,而是 AI 說書人,會分析影片內容 (識別重要時刻、動作,甚至是情緒),生成與影像完美搭配的旁白。無論是為舞蹈影片加上幽默的旁白,還是為奇幻場景加上史詩般的描述,AI 旁白都能帶來全新的互動體驗。

解鎖全新層次的創意和參與度

整合生成式 AI 後,Viggle 體驗可望在幾個主要方面獲得提升:


  • 簡化角色建立程序:Imagen 3 的圖像生成功能可簡化建立及自訂影片角色的程序。使用者現在可以根據自己的想法生成獨特角色,不必具備進階設計技能,也不必依賴有限的預設選項。簡化工作流程後,更多使用者都能實現創意構想。

  • 更貼近個人需求的內容:Gemini 2.0 Flash 可讓使用者製作更符合個人需求的影片敘事內容。自訂角色搭配動態 AI 旁白,可打造獨特的敘事方式,加強創作者與觀眾之間的連結。

  • 擴大創作可能性: 虛擬角色和 AI 旁白的組合,擴大了 Viggle 短片的創作潛力。使用者可以探索新的說故事方式,突破傳統影片格式的限制。

展望未來

Viggle 很高興能進一步探索 Gemini 2.0 和圖像生成模型的潛力,藉此改善平台,並期待在未來,AI 能完美整合到創作過程的每個步驟,讓任何人都能成為影片創作者。

「在 Viggle,每個人都是創作者。我們製作迷因、探索動作擷取技術,打造更上一層樓的專案,並建構自己的多元宇宙。我們相信,Gemini 2.0 Flash 的擬真語音旁白功能將為使用者開啟全新可能,以前所未有的方式創作故事。」

— Viggle 創辦人 Hang Chu

Viggle 與 Gemini 2.0 Flash 和 Imagen 3 合作,展現 AI 在影片創作方面的潛力,並為使用者提供全新工具,盡情揮灑創意。這項合作是邁向 AI 輔助敘事未來的重大一步。如要進一步瞭解如何使用 Gemini 建構內容,請參閱 Gemini API 說明文件,並閱讀這篇文章,瞭解我們在圖像生成方面的最新進展。