分享

2024 年 12 月 11 日

使用 Gemini 2.0 Flash 重新構思影片製作方式

Vishal Dharmadhikari

產品解決方案工程師

Hang Chu

Viggle

Viggle 展示主頁橫幅

Gemini API 不僅能提升應用程式效能,還能引發創意表達方式的革命。Viggle 是近期爆紅的 AI 影片生成工具,可將相片轉換成引人入勝的動畫,引領這場革命。Viggle 正在運用 Gemini 2.0 Flash 的多模態魔法 (目前僅提供實驗性搶先版),結合其進階影片理解和音訊輸出功能,以及 Imagen 3 的圖像生成功能,打造各種功能,讓使用者以前所未有的方式,輕鬆將天馬行空的想像化為現實。

Viggle 幕後:Gemini 2.0 Flash 和 Imagen 3 如何支援 AI 影片創作

Viggle 能夠輕鬆地將靜態圖片轉換為全身運動的動畫視頻,已經吸引了數百萬用戶,並在社交媒體平台上引發了病毒式傳播的內容。Viggle 專注於迷因和舞蹈內容,提供行動應用程式 (iOS 和 Android) 和網頁平台 (viggle.ai)。Viggle 的使用者已十分熟悉臉部交換、為圖片加上舞蹈動作動畫,以及將使用者插入電影場景等功能,現在他們正在探索如何以全新方式提升創意。

Viggle 目前正在運用 Gemini 2.0 Flash 和 Imagen 3 的強大功能,開發兩項功能的原型:


  • 圖片轉虛擬影片角色:Viggle 使用 Imagen 3 生成圖片,打造 AI 輔助的角色工廠。使用者可以提供簡單的文字提示——「一個眼睛發光的跳舞機器人」或「一條毛茸茸的彩虹色龍」——該模型就會產生獨特的虛擬角色,準備在他們的影片中擔任主角。然後,這些角色被無縫整合到 Viggle 的動畫引擎中,開啟了個人化故事敘述的無限可能。想像一下,你可以執導一部完全由你的想像創造出來的動畫短片,片中的角色就是你自己——這就是 Viggle 和 Imagen 3 賦予你的力量。

  • 動態 AI 旁白: Viggle 也利用 Gemini 2.0 Flash 的語音生成能力和深度視訊理解能力,開發了一項功能,可以為任何影片添加上下文豐富的旁白。這不是單調的聲音朗讀腳本,而是 AI 說書人分析影片內容 (識別重要時刻、動作,甚至是情緒),生成與影像完美搭配的旁白。無論是為舞蹈影片加上幽默的旁白,還是為奇幻場景加上史詩般的描述,AI 旁白都能帶來全新的互動體驗。

激發更高層次的創造力和參與度

生成式人工智慧的整合有望從幾個關鍵方面提升 Viggle 的使用體驗:


  • 簡化角色創建: Imagen 3 的圖像生成簡化了創建和自訂視訊角色的過程。使用者現在可以根據自己的想法產生獨特的角色,無需高級設計技能或依賴有限的預設選項。這種簡化的工作流程使更多使用者能夠將他們的創意願景變為​​現實。

  • 更多個人化內容: Gemini 2.0 Flash 使用戶能夠製作高度個人化的影片敘事。客製化設計的角色,結合動態人工智慧旁白,可以實現獨特的敘事方式,從而加強創作者與觀眾之間的連結。

  • 更多元的創意: 虛擬角色和 AI 旁白的組合,可擴展 Viggle 短片創作的潛力。使用者可以探索新的說故事方式,突破傳統影片格式的限制。

展望未來

Viggle 非常期待進一步探索 Gemini 2.0 和圖像生成模型的潛力,以改進其平台,並展望未來人工智慧能夠無縫融入創作過程的每一步,使每個人都能成為影片創作者。

「在 Viggle,每個人都是創作者。我們製作迷因、探索動作擷取技術,打造更上一層樓的專案,並建構自己的多元宇宙。我們相信,Gemini 2.0 Flash 的擬真語音旁白功能將為使用者開啟全新可能,以前所未有的方式創作故事。」

——Viggle 創始人 Hang Chu

Viggle 與 Gemini 2.0 Flash 和 Imagen 3 合作,展現 AI 在影片創作方面的潛力,並為使用者提供新的工具,讓他們盡情表達自我。這項合作是邁向 AI 輔助敘事未來的重大一步。如要進一步瞭解如何運用 Gemini 建構內容,請參閱 Gemini API 說明文件,並閱讀 Imagen 3 的相關資訊,瞭解圖像生成技術的最新進展。