ARCore 应用的最佳用法

Everies

扫描周围的物品,将其转变为独特、活泼、富有互动性的角色

作用

借助由 Gemini 技术驱动的 everies 应用,您周围的物品会通过独特、活泼、互动性强的“everies”角色变得生动起来。只需用摄像头扫描周围的物品,Everie 的眼睛就会出现在物品上。
点按这些眼睛即可生成具有鲜明个性、外观、对话和声音的角色,这些角色均根据特定对象、环境和情境量身定制。您还可以点按任何对象并生成每个字符,即使眼睛最初未显示也是如此。
每个角色都可以通过你的语音输入进行连续对话,从而增强互动性。您还可以保存喜爱的 everies 和难忘的场景。

everies 独一无二的功能是能够将“一切”转变为富有互动性且富有趣味的角色,这是 LLM 技术的一大亮点,可简化体验并提高易用性。该流程由 Gemini API 自动执行,其中对象检测由 TensorFlow Lite 提供支持,字符生成则通过 JSON 文件完成。系统会使用设备端对象检测与 AR 相结合,以高帧速率确定眼睛位置。ARCore 会将角色的眼睛和脸部固定,而高帧速率检测和多模态 LLM (Gemini) 可确保快速响应和优质体验。

目前,everies 仍处于 Beta 版阶段,仅作为概念验证之用。我们计划在未来推出正式版,并提供更新,包括与喜爱的 everies 进行持续对话和视频录制功能。

可采用以下设备打造

  • Android
  • ARCore
  • TensorFlow Lite
  • 用于对象检测的 EfficientDet 模型

团队

更新者

Team everies

发件人

日本