Photobox pour les enfants

Description

Nous proposons "Photobox for Kids", un système interactif qui utilise la reconnaissance multimodale pour améliorer les interactions familiales et l'éducation des jeunes enfants. Il se compose de deux composants principaux: une caméra avec IA permettant aux enfants de prendre des photos d'objets ou de moments familiaux, et une boîte photo pour l'apprentissage interactif à domicile. Les parents peuvent prendre en photo des articles ménagers, que le modèle de vision-langage (VLM) utilise pour générer des contenus éducatifs personnalisés. Le système utilise une "chaîne de pensée" pour passer des requêtes simples aux explications complexes. Lorsque les enfants capturent des éléments enregistrés, le système les identifie et les décrit. Les articles non enregistrés déclenchent des descriptions générées par le modèle Gemini 1.5. Cette méthode simple de capture de photo génère un contenu de questions/réponses étendu, qui favorise la curiosité et la compréhension. Un test pilote dans une école maternelle internationale a montré que les enfants se souvenaient de 70% des 100 objets enregistrés. La caméra avec IA capture les moments familiaux, et la Photobox fournit des contenus interactifs riches lorsque les enfants présentent les photos imprimées. Ce système étend les travaux précédents en IHM en utilisant le modèle Gemini pour des contenus interactifs plus riches. Des études en cours valident son efficacité pour améliorer les interactions familiales.