SANT AR

作用

借助我们的应用，孩子们可以按照 3D 详细说明组装 SCABO 纸板玩具。然后，孩子们可以使用 Gemini AI 功能，将纸板玩具变成 AR 智能玩具。我们的应用可以使用我们自己的 3D 计算机视觉算法实时检测和跟踪纸板玩具的 3D 位置。我们利用 Gemini 1.5 Pro 的功能（包括视觉和文本补全功能），为孩子学习科学学科提供 AI 助手。我们的 3D 目录系统包含 500 多项人体解剖学、力学和空间模型模拟。我们设计了 3D 模拟，为科学对象的不同部分使用不同的颜色为 3D 模型添加纹理，以防止 AI 产生幻觉。Gemini AI 可以更好地识别虚拟模拟内容，并为孩子提供更详细的说明。此外，我们还使用 Gemini API 检测科学场景中的对象。给定包含前景 3D 虚拟模型或真实工件的图片以及用户提出的问题（例如“差速齿轮在哪里？”），Gemini AI 对象检测功能可以检测零件的 2D 位置。然后，我们使用 3D 映射算法将 2D 位置映射到科学对象。最后，我们鼓励孩子在 AR 玩具故事模式下重复使用现有的塑料玩具。Gemini API 用于生成虚拟科学家与塑料玩具之间的科幻故事。孩子可以在科学领域内与虚拟 3D 模拟对象或自己的玩具学习和对话。所有 3D 模拟均可免费随时进行。