Eveies

將周遭物件轉換為互動式角色的 AR。

用途

透過 Gemini 技術打造的 everies 應用程式,讓周遭物品變得生動有趣,並透過互動角色「everies」與你互動。只要使用相機掃描四周的物體,物體就會被捕捉到的物體上。
輕觸這些眼睛,即可產生具有獨特個性、外觀、對話和聲音的人物,這些元素全都是根據特定物體、環境和情境量身打造。您也可以輕觸任何物件並產生 Everies 角色,即使一開始沒有顯示眼睛也沒關係。
每個角色都能透過您的語音輸入進行持續對話,提升互動性。您也可以儲存喜愛的 Everi 和難忘的場景。

Everi 是 LLM 技術的獨特功能,可將「所有」內容轉換為互動式、生動有趣的角色,讓使用者體驗更簡單、更友善。這項程序會由 Gemini API 自動處理,包括採用 TensorFlow Lite 技術進行物件偵測,並透過 JSON 檔案產生字元。系統會透過裝置端物件偵測功能搭配 AR,以高影格率判斷眼睛位置。ARCore 會將角色的眼睛和臉部做為錨點,而高影格率偵測和多模態 LLM (Gemini) 則可確保快速回應和高品質體驗。

歷來測試是提供 Beta 版概念驗證,目的是要推出日後正式發布的正式版本,包括與喜愛的經典作品和錄影功能持續互動。

採用

  • Android
  • ARCore
  • TensorFlow Lite
  • 用於物件偵測的 EfficientDet 模型

團隊

變更者

團隊 everies

寄件者

日本