分享

2024 年 12 月 11 日

Rooms 運用 Gemini 2.0 Flash 打造互動式虛擬人偶,重新想像 3D 空間

Vishal Dharmadhikari

產品解決方案工程師

Jason Toff

Rooms

Rooms 展示主畫面

Rooms 是一個創新平台,使用者可以在這裡建立、暢玩及分享互動式 3D 空間和遊戲,現在更透過 Gemini API 邁出重大的一步。Rooms 整合了 Gemini 2.0 Flash 的進階文字和全新音訊輸出功能 (目前僅提供實驗預先發布版),可望在沉浸式 3D 環境中,激發更豐富的使用者互動和創意。

Rooms 幕後花絮:運用 Gemini 2.0 Flash 打造 3D 互動的未來

圖片:蜂巢檢視畫面中有多個房間圖形

使用者可以透過 Rooms 建立及探索使用者生成的 3D 體驗世界,就像數位版的樂高。Rooms 提供網頁版和行動版,內建直覺式建構工具和社群功能,可促進創意發想和交流互動。已有數十萬名使用者在這個充滿活力的數位世界中創作、分享及玩樂。

Rooms 創辦人兼執行長 Jason Toff 表示:「我認為創意表達不僅是錦上添花,更是人類深層的需求。」「網際網路正朝著更豐富、更沉浸式的方向發展,因此 3D 物件將成為必要元素。這些物件的建立作業將會普及化,讓任何人都能建構及分享自己的創作。3D 物件將栩栩如生,且可互動,進一步模糊數位和實體世界之間的界線,而生成式 AI 是這項演進的關鍵。」

Rooms 現在使用 Gemini 2.0 Flash 進行原型設計,開啟虛擬分身互動的新時代,將靜態虛擬分身轉變為動態角色,能夠進行豐富自然的對話:

  • 動態對話:Gemini 2.0 Flash 的全新語音輸出功能,可讓虛擬人偶之間的對話更加流暢有趣。試想一下,虛擬人偶不僅能以文字回覆使用者提示,還能即時生成生動逼真的語音。

  • AI 輔助角色:除了動態對話,Rooms 還使用 Gemini 2.0 Flash 為每個虛擬化身賦予獨特個性特徵、背景故事,甚至是動機。只要提供豐富的角色設定檔和脈絡資訊給 Gemini 2.0 Flash,Rooms 就能生成以多元有趣方式互動的虛擬人偶。這為角色扮演、協作式說故事和突發遊戲內容開啟了令人興奮的可能性。

透過 Gemini 2.0 Flash 提升 Rooms 體驗

整合 Gemini 2.0 Flash 後,Rooms 可望在幾個重要方面有所轉變:

  • 更身歷其境:更真實且即時的虛擬分身互動,將在 3D 世界中營造更強烈的臨場感和沉浸感。

  • 更豐富的互動體驗: 動態對話和 AI 輔助的個人化功能,可促進使用者之間更具吸引力且有意義的社交連結。

  • 無限創意:使用者將能打造更豐富的敘事和體驗,模糊遊戲與社交互動之間的界線。

  • 互動式學習機會:使用者可以與 AI 輔助的歷史人物、科學家或文學角色進行互動式對話,以全新的方式學習。

「我們非常期待 Gemini 2.0 提升聊天室體驗的潛力。在 3D 空間中進行動態 AI 輔助對話和互動,將徹底改變我們的作業方式。這項技術將為使用者帶來全新的沉浸式體驗、激發無限創意,並促進交流互動,我們很期待看到他們會創造出什麼樣的內容」

— Rooms 執行長 Jason Toff

未來藍圖和願景

Rooms 致力於突破 3D 互動的界限,並著重於負責任的 AI 開發。他們希望在未來,AI 能與使用者的創意無縫融合,在不斷擴展的 3D 空間宇宙中,孕育蓬勃發展的社群,並激發無限的自我表達。

Jason 接著說道:「我們認為在未來的 3D 體驗中,AI 將成為不可或缺的一環,但使用者不會察覺它的存在,AI 會默默提升創意、沉浸感和社交連結。想像一下,AI 輔助的角色可以安全地進行有意義的對話、配合使用者行為,甚至與使用者共同創作。這將為新的敘事、遊戲和虛擬互動形式開啟無限可能,但確保這些互動安全且具包容性至關重要。我們致力於在 Rooms 中採用負責任的 AI 技術。」

Rooms 採用 Gemini API,證明進階 AI 技術可順暢整合,打造真正引人入勝且易於使用的 3D 體驗。他們不僅在建構平台,更展現 AI 的力量,改變我們在數位世界中的互動、創作和連結方式。探索 Gemini API,瞭解這項工具的潛力。