Photobox for Kids

作用

我们提出了“儿童专用照片盒”，这是一种使用多模态识别技术的互动系统，旨在增进家庭互动和早期教育。它由两个主要组件组成：一个 AI 相机，供孩子拍摄物品或家庭时刻；一个 Photobox，供孩子在家进行互动式学习。家长可以拍摄家用物品，视觉-语言模型 (VLM) 会根据这些物品生成量身定制的教育内容。该系统采用“思维链”方法，从简单的询问逐步过渡到复杂的说明。当孩子拍摄已注册的物品时，系统会识别并描述这些物品。未注册的商品会触发 Gemini 1.5 模型生成的说明。这种简单的拍照方法可生成丰富的问答内容，激发好奇心并促进理解。在一家国际幼儿园开展的一项试点研究表明，孩子们可以回想 100 个已注册对象中的 70%。AI 相机可捕捉家庭时刻，当孩子展示打印的照片时，照片盒会提供丰富的互动内容。该系统通过使用 Gemini 模型生成更丰富的互动内容，扩展了之前的 HCI 工作。我们正在开展研究，验证其在增进家庭互动方面的有效性。