Çocuklar için Photobox

Ne işe yarar?

Aile etkileşimlerini ve erken çocukluk eğitimini iyileştirmek için çok modlu tanıma kullanan etkileşimli bir sistem olan "Çocuklar için Fotoğraf Kutusu"nu öneriyoruz. İki ana bileşenden oluşur: Çocukların nesneleri veya aile anılarını yakalayabileceği bir yapay zeka kamerası ve evde etkileşimli öğrenme için bir fotoğraf kutusu. Ebeveynler, bir Görsel Dil Modeli'nin (VLM) özelleştirilmiş eğitim içerikleri oluşturmak için kullandığı ev eşyalarını fotoğraflayabilir. Sistem, basit sorgulardan karmaşık açıklamalara geçmek için bir "düşünce zinciri" kullanır. Çocuklar kayıtlı öğeleri yakaladığında sistem bunları tanımlar ve açıklar. Kayıtlı olmayan öğeler, Gemini 1.5 modeli tarafından oluşturulan açıklamaları tetikler. Bu basit fotoğraf çekme yöntemi, merak duygusunu ve anlayışı teşvik eden kapsamlı soru-cevap içerikleri oluşturur. Uluslararası bir anaokulunda yapılan pilot çalışmada, çocukların kayıtlı 100 nesnenin% 70'ini hatırladığı görüldü. Yapay zeka kamera, aile anılarını yakalar ve çocuklar basılı fotoğrafları sunarken fotoğraf kutusu zengin ve etkileşimli içerikler sunar. Bu sistem, daha zengin etkileşimli içerikler için Gemini modelini kullanarak önceki HCI çalışmalarını genişletir. Devam eden çalışmalar, bu özelliğin aile etkileşimlerini artırmadaki etkinliğini doğruluyor.