ARCore 应用的最佳用法
Everies
扫描周围的物品,将其转变为独特、活泼、富有互动性的角色
作用
借助由 Gemini 技术驱动的 everies 应用,您周围的物品会通过独特、活泼、互动性强的“everies”角色变得生动起来。只需用摄像头扫描周围的物体,Everie 的眼睛就会出现在物体上。
点按这些眼睛即可生成具有鲜明个性、外观、对话和声音的角色,所有这些都根据特定对象、环境和情境量身定制。您还可以点按任何对象并生成每个字符,即使眼睛最初未显示也是如此。
每个角色都可以通过你的语音输入进行持续对话,从而增强互动性。您还可以保存喜爱的 everies 和难忘的场景。
everies 独一无二的功能是能够将“一切”转变为富有互动性和趣味性的角色,这是 LLM 技术的一大亮点,可简化体验并提高易用性。该流程由 Gemini API 自动执行,其中对象检测由 TensorFlow Lite 提供支持,字符生成则通过 JSON 文件完成。系统会使用设备端对象检测与 AR 相结合,以高帧速率确定眼睛位置。ARCore 会将角色的眼睛和脸部固定,而高帧速率检测和多模态 LLM (Gemini) 可确保快速响应和优质体验。
目前,everies 仍处于 Beta 版阶段,仅作为概念验证之用。我们计划在未来推出正式版,并提供更新,包括与喜爱的 everies 进行持续对话和视频录制功能。
可采用以下设备打造
- Android
- ARCore
- TensorFlow Lite
- 用于对象检测的 EfficientDet 模型
团队
更新者
Team everies
发件人
日本