分享

2024 年 12 月 11 日

Rooms 使用 Gemini 2.0 Flash 打造具有互动式虚拟形象的全新 3D 空间

Vishal Dharmadhikari

产品解决方案工程师

Jason Toff

Rooms

会议室展示英雄

Rooms 是一个创新平台,用户可以在其中创建、畅玩和分享互动式 3D 空间和游戏。现在,Rooms 借助 Gemini API 迈出了重要一步。通过集成 Gemini 2.0 Flash 的高级文本和全新音频输出功能(目前仅提供实验性预览版),Rooms 将在沉浸式 3D 环境中实现更丰富的用户互动和创意。

Rooms 内部:利用 Gemini 2.0 Flash 打造 3D 互动未来

以蜂窝状视图显示多个房间图形的图片

Rooms 可让用户构建和探索用户生成的 3D 体验世界,就像乐高的数字版一样。Rooms 可在网页和移动设备上使用,提供直观的构建工具和社交功能,可激发创造力并促进交流。已有数十万用户在这个充满活力的数字世界中创作、分享和畅玩。

Rooms 的创始人兼首席执行官 Jason Toff 表示:“我逐渐相信,创意表达不仅是一种美好的事物,更是一种深层的人类需求。”“互联网正朝着更丰富、更具沉浸感的方向发展,这将需要 3D 对象。这些对象的创建将实现大众化,让任何人都能构建和分享自己的作品。3D 对象将变得栩栩如生且具有互动性,进一步模糊数字世界与现实世界之间的界限,而生成式 AI 是这一演变的关键部分。”

Rooms 现已开始使用 Gemini 2.0 Flash 制作原型,以开启头像互动的新时代,将静态头像转变为能够进行丰富自然的对话的动态角色:

  • 动态对话:Gemini 2.0 Flash 的全新音频输出功能可让虚拟形象之间的对话更加流畅、更具吸引力。想象一下,虚拟形象不仅能通过文字回复用户提示,还能通过实时生成的富有表现力的逼真声音回复用户提示。

  • AI 赋能的角色:除了动态对话之外,Rooms 还使用 Gemini 2.0 Flash 为每个头像赋予独特的性格特征、背景故事,甚至是动机。通过向 Gemini 2.0 Flash 提供丰富的角色资料和情境信息,Rooms 可以生成以各种有趣的方式行动和互动的虚拟形象。这为角色扮演、合作讲故事和新兴游戏开辟了令人兴奋的可能性。

利用 Gemini 2.0 Flash 提升 Rooms 体验

集成 Gemini 2.0 Flash 有望通过以下几种主要方式改变会议室:

  • 更强的沉浸感:更逼真、更灵敏的虚拟形象互动将让用户在 3D 世界中获得更强的临场感和沉浸感。

  • 更丰富的互动: 动态对话和 AI 赋能的角色将促进用户之间建立更具吸引力且更有意义的社交联系。

  • 无限创意:用户将能够打造更丰富的故事和体验,模糊游戏与社交互动之间的界限。

  • 互动式学习机会:用户可以与 AI 赋能的历史人物、科学家或文学角色进行互动式对话,以全新的方式让学习变得生动有趣。

“我们非常期待 Gemini 2.0 能够提升聊天室体验。能够在 3D 空间中进行动态的 AI 赋能对话和互动,这彻底改变了游戏规则。这将为我们的用户带来全新的沉浸式体验、创造力和连接,我们迫不及待想看看他们会创造出什么”

- Jason Toff,Rooms 首席执行官

未来路线图和愿景

Rooms 致力于突破 3D 互动界限,并高度重视以负责任的方式开发 AI。他们设想,在未来,AI 将与用户创意无缝融合,在不断扩展的 3D 空间中培育充满活力的社区,并激发无限的自我表达。

Jason 继续说道:“我们预见,未来 AI 将成为 3D 体验中不可或缺的一部分,但用户不会感知到它的存在,它将增强创意、沉浸感和社交联系。想象一下,AI 赋能的角色可以安全地进行有意义的对话,适应用户行为,甚至与用户共同创作。这将为新的故事讲述、游戏和虚拟互动形式带来无限可能,但至关重要的是,这些互动必须安全且包容。我们致力于在 Rooms 中实现负责任的 AI。”

借助 Gemini API,Rooms 证明了先进的 AI 可以无缝集成,从而打造真正引人入胜且用户友好的 3D 体验。他们不仅在构建一个平台,还在展示 AI 的强大功能,即改变我们在数字世界中互动、创作和联系的方式。探索 Gemini API 并发掘其潜力。