Ulepszenie interakcji rodzinnych dla dzieci korzystających z Gemini.
Działanie
Proponujemy „Photobox for Kids”, interaktywny system wykorzystujący rozpoznawanie multimodalne, który ułatwia interakcje rodzinne i edukację dzieci w młodym wieku. Składa się on z 2 głównych elementów: aparatu AI, który pozwala dzieciom robić zdjęcia obiektów lub rodzinnych momentów, oraz Photoboxa do interaktywnej nauki w domu. Rodzice mogą robić zdjęcia przedmiotów domowych, które model Vision-Language (VLM) wykorzystuje do generowania spersonalizowanych treści edukacyjnych. System używa „łańcucha myślenia”, aby przechodzić od prostych zapytań do złożonych wyjaśnień. Gdy dzieci skanują zarejestrowane przedmioty, system je identyfikuje i opisuje. Niezarejestrowane produkty powodują wyświetlanie opisów wygenerowanych przez model Gemini 1.5. Ta prosta metoda przechwytywania zdjęć generuje obszerne treści z pytaniami i odpowiedziami, które pobudzają ciekawość i pomagają zrozumieć różne zagadnienia. W ramach pilotażowego programu w międzynarodowym przedszkolu dzieci zapamiętały 70% ze 100 zarejestrowanych obiektów. Aparat AI rejestruje chwile rodzinne, a Photobox zapewnia bogate interaktywne treści, gdy dzieci prezentują wydrukowane zdjęcia. System ten rozszerza poprzednie prace nad interfejsem użytkownika, wykorzystując model Gemini do tworzenia bogatszych treści interaktywnych. Trwają badania nad skutecznością tej funkcji w poprawy interakcji rodzinnych.
Utworzone za pomocą
Android
Zespół
Autor:
Photobox for Kids
Od
Stany Zjednoczone
[[["Łatwo zrozumieć","easyToUnderstand","thumb-up"],["Rozwiązało to mój problem","solvedMyProblem","thumb-up"],["Inne","otherUp","thumb-up"]],[["Brak potrzebnych mi informacji","missingTheInformationINeed","thumb-down"],["Zbyt skomplikowane / zbyt wiele czynności do wykonania","tooComplicatedTooManySteps","thumb-down"],["Nieaktualne treści","outOfDate","thumb-down"],["Problem z tłumaczeniem","translationIssue","thumb-down"],["Problem z przykładami/kodem","samplesCodeIssue","thumb-down"],["Inne","otherDown","thumb-down"]],[],[],[],null,["# Photobox for Kids\n\n[More Apps](/competition/vote) \n\nPhotobox for Kids\n=================\n\nEnhancing family interactions for Kids utilizing Gemini. \nVote \nVoted!\nWhat it does\n\nWe propose \"Photobox for Kids,\" an interactive system using multi-modal recognition to enhance family interactions and early childhood education. It has two main components: an AI Camera for children to capture objects or family moments, and a Photobox for interactive learning at home. Parents can capture household items, which a Vision-Language Model (VLM) uses to generate tailored educational content. The system employs a 'Chain of Thought' to progress from simple queries to complex explanations. When children capture registered items, the system identifies and describes them. Unregistered items trigger descriptions generated by the Gemini 1.5 model. This simple photo capture method generates extensive Q\\&A content, promoting curiosity and understanding. A pilot in an international kindergarten showed children recalling 70% of 100 registered objects. The AI Camera captures family moments, and the Photobox provides rich interactive content when children present the printed photos. This system extends previous HCI work by using the Gemini model for richer interactive content. Ongoing studies are validating its effectiveness in enhancing family interactions. \nBuilt with\n\n- Android \nTeam \nBy\n\nPhotobox for Kids \nFrom\n\nUnited States \n[](/competition/vote)"]]
