Photobox for Kids

Działanie

Proponujemy „Photobox for Kids”, interaktywny system wykorzystujący rozpoznawanie multimodalne, który ułatwia interakcje rodzinne i edukację dzieci w młodym wieku. Składa się on z 2 głównych elementów: aparatu AI, który pozwala dzieciom robić zdjęcia obiektów lub rodzinnych momentów, oraz Photoboxa do interaktywnej nauki w domu. Rodzice mogą robić zdjęcia przedmiotów domowych, które model Vision-Language (VLM) wykorzystuje do generowania spersonalizowanych treści edukacyjnych. System używa „łańcucha myślenia”, aby przechodzić od prostych zapytań do złożonych wyjaśnień. Gdy dzieci skanują zarejestrowane przedmioty, system je identyfikuje i opisuje. Niezarejestrowane produkty powodują wyświetlanie opisów wygenerowanych przez model Gemini 1.5. Ta prosta metoda przechwytywania zdjęć generuje obszerne treści z pytaniami i odpowiedziami, które pobudzają ciekawość i pomagają zrozumieć różne zagadnienia. W ramach pilotażowego programu w międzynarodowym przedszkolu dzieci zapamiętały 70% ze 100 zarejestrowanych obiektów. Aparat AI rejestruje chwile rodzinne, a Photobox zapewnia bogate interaktywne treści, gdy dzieci prezentują wydrukowane zdjęcia. System ten rozszerza poprzednie prace nad interfejsem użytkownika, wykorzystując model Gemini do tworzenia bogatszych treści interaktywnych. Trwają badania nad skutecznością tej funkcji w poprawy interakcji rodzinnych.