分享

2024 年 12 月 11 日

利用 Gemini 2.0 Flash 重新构想视频制作

Vishal Dharmadhikari

产品解决方案工程师

Hang Chu

Viggle

Viggle 展示版主图

Gemini API 不仅可以增强应用的功能,还可以彻底改变创意表达方式。Viggle 是一款火爆的 AI 视频应用,可让任何人都能将照片转换为迷人的动画,是这场革命的前沿力量。通过实验探索 Gemini 2.0 Flash 的多模态魔力(目前仅提供实验性预览版),特别是其先进的视频理解和音频输出功能以及 Imagen 3 生成的图片,Viggle 正在打造各种功能,让用户能够以前所未有的方式轻松将自己的天马行空想象变为现实。

Viggle 解密:利用 Gemini 2.0 Flash 和 Imagen 3 赋能 AI 视频创作

Viggle 能够轻松将静态图片转换为包含全身动作的动画视频,从而吸引了数百万用户,并在社交媒体平台上引发了病毒式传播的内容。Viggle 专注于模因和舞蹈内容,提供移动应用(iOS 和 Android 版)和 Web 平台 (viggle.ai)。换脸、用舞蹈动作为照片添加动画效果,以及将用户插入电影场景等功能已经深受 Viggle 用户群体的喜爱,现在,他们正在探索新的方式,以便将创意发挥到极致。

Viggle 目前正在利用 Gemini 2.0 Flash 和 Imagen 3 的强大功能,对两项功能进行原型设计:


  • 将图片转换为虚拟视频角色:Viggle 正在使用 Imagen 3 生成图片,以打造 AI 赋能的角色工坊。用户可以提供简单的文本提示,例如“会跳舞的会发光的眼睛的机器人”或“毛茸茸的彩虹色龙”,然后该模型便会凭空想象出独特的虚拟角色,让其成为视频中的主角。然后,这些角色会无缝集成到 Viggle 的动画引擎中,从而开启无限的个性化故事讲述可能性。想象一下,您可以执导自己的动画短片,并让完全由您想象力创造的角色成为主角。Viggle 和 Imagen 3 将为您提供实现这一点的强大能力。

  • 动态 AI 旁白:Viggle 还利用 Gemini 2.0 Flash 的语音生成能力和对视频的深度理解,开发了一项功能,可为任何视频添加富有背景信息的旁白。这不仅仅是单调的声音朗读剧本,而是 AI 讲故事者,它会分析视频内容(识别重要时刻、动作甚至情绪),生成与画面完美契合的旁白。无论是舞蹈视频的幽默解说,还是对奇幻场景的壮丽描述,AI 讲述者都能为互动增添全新维度。

让广告素材的创意和互动效果更上一层楼

集成生成式 AI 有望从几个关键方面提升 Viggle 体验:


  • 简化了角色创建流程:Imagen 3 的图片生成功能简化了创建和自定义视频角色的流程。用户现在可以根据自己的想法生成独特的角色,而无需具备高级设计技能或依赖有限的预设选项。这种简化的工作流程让更多用户能够将自己的创意构想变为现实。

  • 内容更加个性化:借助 Gemini 2.0 Flash,用户可以制作高度个性化的视频旁白。自定义角色与动态 AI 旁白相结合,可打造独特的讲故事方式,从而加强创作者与观众之间的联系。

  • 拓展广告创意可能性 :虚拟角色与 AI 旁白的结合,让 Viggle 上的短视频广告的创意潜力得到了拓展。用户可以探索新的讲故事形式,超越传统的视频格式。

展望未来

Viggle 很高兴能进一步探索 Gemini 2.0 和图片生成模型的潜力,以改进其平台。我们希望未来 AI 能够无缝集成到创作流程的每个步骤,让每个人都能成为视频创作者。

在 Viggle,每个人都是创作者。我们制作了大量的表情包,探索了动作捕捉技术,并打造了自己的多元宇宙。我们相信,借助 Gemini 2.0 Flash 逼真的语音旁白功能,用户将能够发掘新的潜力,以前所未有的方式讲述故事。”

- Hang Chu,Viggle 创始人

Viggle 利用 Gemini 2.0 Flash 和 Imagen 3 所做的这项工作,展示了 AI 技术在改变视频创作方式方面具有的潜力,并为用户提供了新的自我表达工具。此次合作标志着我们朝着以 AI 为依托的未来故事讲述迈出了一步。如需详细了解如何使用 Gemini 进行构建,请参阅 Gemini API 文档,并详细了解 Imagen 3,了解我们在图片生成方面的最新进展。