分享

2024 年 12 月 11 日

使用 Gemini 2.0 Flash 重新构想视频创作

Vishal Dharmadhikari

产品解决方案工程师

Hang Chu

Viggle

Viggle 展示主图

Gemini API 不仅能增强应用功能,还能激发创意表达方面的变革。Viggle 是一款风靡全球的 AI 视频应用,可让任何人将照片转换为引人入胜的动画,引领着这场革命。Viggle 正在开发相关功能,让用户能够以前所未有的方式轻松将最疯狂的想象变为现实。这些功能将利用目前仅在实验性预览版中提供的 Gemini 2.0 Flash 的多模态魔力,特别是其先进的视频理解和音频输出功能,以及 Imagen 3 的图片生成功能。

Viggle 幕后:利用 Gemini 2.0 Flash 和 Imagen 3 赋能 AI 视频创作

Viggle 能够轻松将静态图片转换为包含全身动作的动画视频,已吸引数百万用户,并在社交媒体平台上引发病毒式传播。Viggle 专注于表情包和舞蹈内容,提供移动应用(iOS 和 Android)和 Web 平台 (viggle.ai)。换脸、让照片随着舞蹈动作动起来以及将用户插入电影场景等功能已深受 Viggle 用户群体的喜爱,现在他们正在探索新的方式来进一步发挥创造力。

Viggle 目前正在开发两项功能,这两项功能利用了 Gemini 2.0 Flash 和 Imagen 3 的强大功能:


  • 图片转虚拟视频角色:Viggle 使用 Imagen 3 进行图片生成,以打造 AI 赋能的角色工厂。用户可以提供简单的文字提示,例如“一个眼睛发光的跳舞机器人”或“一条蓬松的彩虹色龙”,然后该模型就会生成独特的虚拟角色,供用户在视频中使用。然后,这些角色会无缝集成到 Viggle 的动画引擎中,从而开启个性化故事讲述的无限可能。想象一下,您正在执导一部动画短片,其中的角色完全出自您的想象力。这就是 Viggle 和 Imagen 3 为您带来的强大功能。

  • 动态 AI 旁白:Viggle 还利用 Gemini 2.0 Flash 的语音生成能力和深厚的视频理解能力,开发了一项可为任何视频添加丰富情境旁白的功能。这不仅仅是单调的朗读脚本的声音,而是一个 AI 故事讲述者,它会分析视频的内容,识别关键时刻、动作甚至情绪,从而生成与画面完美搭配的旁白。无论是对舞蹈视频的幽默评论,还是对奇幻场景的史诗级描述,AI 旁白都能带来全新的互动体验。

解锁全新创意和互动体验

生成式 AI 的集成有望从以下几个主要方面提升 Viggle 体验:


  • 简化的角色创建流程:Imagen 3 的图片生成功能可简化视频角色的创建和自定义流程。现在,用户可以根据自己的想法生成独特的角色,无需具备高级设计技能,也不必依赖有限的预设选项。这种简化的工作流程可让更多用户将自己的创意愿景变为现实。

  • 更具个性化的内容:Gemini 2.0 Flash 可帮助用户打造高度个性化的视频叙事。自定义设计的角色与动态 AI 旁白相结合,可实现独特的叙事方式,从而加强创作者与观众之间的联系。

  • 拓展创意可能性: 虚拟角色与 AI 旁白的结合,拓展了 Viggle 上短视频的创意潜力。用户可以探索新的叙事形式,突破传统视频格式的限制。

展望未来

Viggle 很高兴能进一步探索 Gemini 2.0 和图片生成模型的潜力,以改进其平台,并设想未来 AI 将无缝集成到创意流程的每个步骤中,让任何人都能成为视频创作者。

“在 Viggle,每个人都是创作者。我们正在制作模因、探索动作捕捉技术以打造更出色的项目,并构建自己的多元宇宙。我们相信,借助 Gemini 2.0 Flash 逼真的语音旁白功能,我们的用户将能发掘新的潜力,以前所未有的方式创作故事。”

- Hang Chu,Viggle 创始人

Viggle 与 Gemini 2.0 Flash 和 Imagen 3 的合作表明,AI 有潜力改变视频创作方式,并为用户提供新的自我表达工具。这次合作标志着我们朝着 AI 赋能的故事讲述未来迈出了一步。如需详细了解如何使用 Gemini 进行构建,请访问 Gemini API 文档,并详细了解 Imagen 3,这是我们在图片生成方面的最新进展。