分享

2024 年 12 月 11 日

Rooms 使用 Gemini 2.0 Flash 打造具有互动式头像的全新 3D 空间

Vishal Dharmadhikari

产品解决方案工程师

杰森·托夫

Rooms

Rooms 精选案例主图

Rooms 是一个创新平台,用户可以在其中创建、玩耍和分享交互式 3D 空间和游戏,借助 Gemini API,它向前迈出了重要一步。通过集成 Gemini 2.0 Flash 的高级文本和全新音频输出功能(目前仅提供实验性预览版),Rooms 有望在其沉浸式 3D 环境中实现更丰富的用户互动和创意。

走进 Rooms:利用 Gemini 2.0 Flash 打造 3D 互动未来

以蜂窝状视图显示多个房间图形的图片

Rooms 可让用户构建和探索用户生成的 3D 体验世界,就像数字版的乐高一样。Rooms 可在网页和移动设备上使用,提供直观的构建工具和社交功能,可激发创造力并促进交流。已有数十万用户在这个充满活力的数字世界中创作、分享和玩游戏。

Rooms 的创始人兼首席执行官 Jason Toff 表示:“我逐渐相信,创意表达不仅是一种美好的事物,更是一种深层的人类需求。”“互联网正在发展,变得更加丰富和沉浸式,这将需要 3D 对象。这些对象的创建将实现大众化,让任何人都能构建和分享自己的作品。3D 对象将变得栩栩如生且具有互动性,进一步模糊数字世界与现实世界之间的界限,而生成式 AI 是这一演变的关键部分。”

Rooms 目前正在使用 Gemini 2.0 Flash 进行原型设计,以开启虚拟化身交互的新时代,将静态虚拟化身转变为能够进行丰富、自然对话的动态角色:

  • 动态对话:Gemini 2.0 Flash 的全新音频输出功能可让虚拟化身之间的对话更加流畅、更具吸引力。想象一下,虚拟形象不仅能用文字回应用户的提示,还能用实时生成的生动逼真的声音做出反应。

  • AI 赋能的角色:除了动态对话之外,Rooms 还使用 Gemini 2.0 Flash 为每个头像赋予独特的性格特征、背景故事,甚至是动机。通过向 Gemini 2.0 Flash 输入丰富的角色配置文件和上下文信息,Rooms 可以生成行为和互动方式多样化且引人入胜的虚拟化身。这为角色扮演、协作讲故事和突发玩法带来了令人兴奋的可能性。

利用 Gemini 2.0 Flash 提升客房体验

集成 Gemini 2.0 Flash 有望从几个关键方面改变 Rooms:

  • 更深层次的沉浸感: 更逼真、更灵敏的虚拟化身互动将在 3D 世界中创造更深层次的存在感和沉浸感。

  • 更丰富的互动: 动态对话和人工智能驱动的个性将促进用户之间更具吸引力和更有意义的社交联系。

  • 无限的创造力: 用户将能够创造更丰富的故事和体验,模糊游戏和社交互动之间的界限。

  • 互动式学习机会:用户可以与 AI 赋能的历史人物、科学家或文学角色进行互动式对话,以全新的方式让学习变得生动有趣。

“我们非常期待 Gemini 2.0 在提升聊天室体验方面的潜力。能够在 3D 空间内进行动态的 AI 赋能对话和互动,这彻底改变了游戏规则。这将为我们的用户带来全新的沉浸感、创造力和连接体验,我们迫不及待想看看他们会创造出什么”

- Jason Toff,Rooms 首席执行官

未来路线图和愿景

Rooms 致力于突破 3D 互动的界限,同时高度重视负责任的 AI 开发。他们设想的未来是,AI 与用户创意无缝融合,在不断扩展的 3D 空间宇宙中培育充满活力的社区,让用户尽情表达自我。

Jason 继续说道:“我们预见,未来 AI 将成为 3D 体验中不可或缺的一部分,但用户不会感知到它的存在,它将增强创意、沉浸感和社交联系。想象一下,AI 赋能的角色可以安全地进行有意义的对话,适应用户行为,甚至与用户共同创作。这将为新的故事讲述、游戏和虚拟互动形式带来无限可能,但至关重要的是,这些互动必须安全且包容。我们致力于在 Rooms 中实现负责任的 AI。”

借助 Gemini API,Rooms 证明了先进的 AI 可以无缝集成,从而打造真正引人入胜且用户友好的 3D 体验。他们不仅在构建一个平台,还在展示 AI 的强大功能,即改变我们在数字世界中互动、创作和联系的方式。探索 Gemini API 并发掘其潜力。