어린이용 사진함

기능

다중 모달 인식을 사용하여 가족 상호작용과 아동 교육을 개선하는 양방향 시스템인 '어린이용 사진첩'을 제안합니다. 이 제품은 어린이가 물체나 가족의 순간을 캡처할 수 있는 AI 카메라와 집에서 양방향 학습을 할 수 있는 포토박스라는 두 가지 주요 구성요소로 구성되어 있습니다. 부모는 비전 언어 모델 (VLM)이 맞춤 교육 콘텐츠를 생성하는 데 사용하는 가정용품을 촬영할 수 있습니다. 이 시스템은 '생각의 사슬'을 사용하여 간단한 쿼리에서 복잡한 설명으로 진행합니다. 자녀가 등록된 항목을 캡처하면 시스템에서 항목을 식별하고 설명합니다. 등록되지 않은 항목은 Gemini 1.5 모델에서 생성된 설명을 트리거합니다. 이 간단한 사진 캡처 방법은 광범위한 Q&A 콘텐츠를 생성하여 호기심과 이해를 돕습니다. 한 국제 유치원에서 진행한 파일럿에서는 등록된 100개의 물체 중 70% 를 아이들이 기억하는 것으로 나타났습니다. AI 카메라가 가족의 소중한 순간을 포착하고, 포토박스는 아이들이 인화된 사진을 선물할 때 풍부한 양방향 콘텐츠를 제공합니다. 이 시스템은 Gemini 모델을 사용하여 보다 풍부한 양방향 콘텐츠를 제공하여 이전 HCI 작업을 확장합니다. 현재 진행 중인 연구에서 가족 상호작용 개선에 미치는 효과를 검증하고 있습니다.