分享

2024 年 12 月 11 日

Rooms 使用 Gemini 2.0 Flash 重新构想了 3D 空间,并加入了互动式化身角色

Vishal Dharmadhikari

产品解决方案工程师

Jason Toff

Rooms

客房展示大图

聊天室是一个创新平台,用户可以在其中创建、玩耍和分享互动式 3D 空间和游戏。借助 Gemini API,聊天室功能又向前迈进了一大步。通过集成 Gemini 2.0 Flash(目前仅提供实验性预览版)的高级文本和新音频输出功能,Rooms 有望在其沉浸式 3D 环境中实现更丰富的用户互动和创造力。

Inside Rooms:利用 Gemini 2.0 Flash 构建 3D 互动未来

显示蜂窝视图中多个客房图形的图片

借助“房间”功能,用户可以构建和探索由用户生成的 3D 体验世界,就像数字版乐高一样。Rooms 可在网页版和移动版上使用,提供直观的构建工具和社交功能,可激发创造力并促进人际交流。已有数十万用户在这个充满活力的数字世界中创作、分享和娱乐。

“我逐渐相信,富有创意的表达不仅仅是一种美好体验,更是人类的一种深层需求。”Rooms 的创始人兼首席执行官 Jason Toff 说道。“互联网正在不断发展,变得更加丰富、沉浸感更强,这需要 3D 对象。这些对象的创建将会大众化,让任何人都可以构建和分享自己的创作。3D 对象将变得生动且具有互动性,进一步模糊了数字世界和现实世界之间的界限,而生成式 AI 是这一演变过程的关键部分。”

我们现在正在使用 Gemini 2.0 Flash 为聊天室进行原型设计,以开启全新的化身互动时代,将静态化身转变为能够进行丰富自然对话的动态角色:

  • 动态对话:Gemini 2.0 Flash 的新音频输出功能让化身之间的对话更加流畅、富有吸引力。假设您有一个头像,它不仅会以文字的形式回复用户的问题,还会以实时生成的富有表现力且逼真的声音回复。

  • AI 赋能的个性:除了动态对话之外,Rooms 还使用 Gemini 2.0 Flash 为每个头像注入独特的个性特征、背景故事,甚至动机。通过向 Gemini 2.0 Flash 提供丰富的角色个人资料和情境信息,Rooms 可以生成以多种富有吸引力的方式进行行为和互动的化身。这为角色扮演、协作故事创作和自发游戏玩法开辟了令人兴奋的可能性。

利用 Gemini 2.0 Flash 提升 Google 会议室体验

集成 Gemini 2.0 Flash 有望从以下几个关键方面改进 Google 助理:

  • 沉浸感更深:更逼真、响应更迅速的化身互动将在 3D 世界中营造更深的临场感和沉浸感。

  • 互动更丰富: 动态对话和 AI 赋能的个性化会促进用户之间建立更具吸引力和意义的社交联系。

  • 无限的创意:用户将能够打造更丰富的叙事和体验,让游戏与社交互动之间的界限变得模糊不清。

  • 互动式学习机会:用户可以与 AI 赋能的历史人物、科学家或文学人物进行互动对话,以全新的方式让学习变得生动有趣。

我们非常期待 Gemini 2.0 提升聊天室体验的潜力。能够在 3D 空间中进行 AI 赋能的动态对话和互动,这将是一个颠覆性的变革。它将为用户带来全新的沉浸感、创造力和互动体验,我们迫不及待想看到他们创作的内容。”

- Jason Toff,Rooms 首席执行官

未来路线图和愿景

Rooms 致力于突破 3D 互动边界,并非常注重负责任地开发 AI。他们设想,在未来,AI 将与用户的创造力无缝融合,在不断扩大的 3D 空间宇宙中培育充满活力的社区,并提供无限的自我表达方式。

Jason 继续说道:“我们可以预见,未来 AI 将成为 3D 体验中不可或缺但又不易察觉的一部分,提升创造力、沉浸感和社交互动。想象一下,依托 AI 技术的角色能够安全地进行有意义的对话、适应用户行为,甚至与用户一起进行共创。这将为新形式的故事讲述、游戏和虚拟互动打开无限可能,但这些互动必须安全且包容。我们致力于在 Google 聊天室中打造负责任的 AI 体验。”

借助 Gemini API,Google 聊天室证明了可以无缝集成先进 AI 技术,从而打造真正富有吸引力且人性化的 3D 体验。他们不仅仅在构建平台,还在展示 AI 如何改变我们在数字世界中的互动、创作和沟通方式。探索 Gemini API 并发掘其潜力。