Photobox para niños

Qué hace

Proponemos “Photobox for Kids”, un sistema interactivo que usa el reconocimiento multimodal para mejorar las interacciones familiares y la educación infantil. Tiene dos componentes principales: una cámara con IA para que los niños capturen objetos o momentos familiares, y una Photobox para el aprendizaje interactivo en casa. Los padres pueden capturar artículos de la casa, que un modelo de lenguaje de visión (VLM) usa para generar contenido educativo personalizado. El sistema emplea una "cadena de pensamiento" para pasar de consultas simples a explicaciones complejas. Cuando los niños capturan elementos registrados, el sistema los identifica y describe. Los elementos no registrados activan las descripciones generadas por el modelo Gemini 1.5. Este sencillo método de captura de fotos genera contenido extenso de preguntas y respuestas, lo que promueve la curiosidad y la comprensión. En una prueba piloto en un jardín de infantes internacional, se mostró a los niños que recordaban el 70% de los 100 objetos registrados. La cámara con IA captura momentos familiares, y la Photobox proporciona contenido interactivo enriquecido cuando los niños presentan las fotos impresas. Este sistema extiende el trabajo anterior de la HCI con el uso del modelo de Gemini para obtener contenido interactivo más rico. Los estudios en curso validan su eficacia para mejorar las interacciones familiares.