SANT AR

Description

Notre application permet aux enfants d'assembler des jouets en carton SCABO à l'aide d'instructions détaillées en 3D. Les enfants peuvent ensuite transformer les jouets en carton en jouets connectés en RA grâce aux fonctionnalités d'IA de Gemini. Notre application peut détecter et suivre en temps réel la position 3D des jouets en carton grâce à notre propre algorithme de vision artificielle 3D. Nous utilisons les fonctionnalités de Gemini 1.5 Pro, y compris la vision et la saisie de texte, pour devenir un assistant d'IA pour les enfants qui apprennent des matières scientifiques. Notre système d'inventaire 3D comprenant plus de 500 simulations d'anatomie humaine, de mécanique et de modèles spatiaux Nous avons conçu les simulations 3D en texturant les modèles 3D avec une couleur différente pour chaque partie des objets scientifiques afin d'éviter les hallucinations induites par l'IA. L'IA de Gemini reconnaît mieux les simulations virtuelles et fournit de meilleures explications aux enfants. De plus, nous utilisons l'API Gemini pour détecter les objets dans les scènes scientifiques. Compte tenu de l'image incluant les modèles virtuels 3D ou l'artefact réel au premier plan, et d'une question de l'utilisateur telle que "Où se trouve le différentiel ?", la détection d'objets par IA de Gemini peut détecter la position 2D des pièces. Ensuite, nous utilisons un algorithme de mappage 3D pour mapper la position 2D dans l'objet scientifique. Enfin, nous encourageons les enfants à réutiliser leurs jouets en plastique existants dans le mode Histoires de jouets en RA. L'API Gemini est utilisée pour générer les histoires de science-fiction entre les scientifiques virtuels et le jouet en plastique. Les enfants peuvent apprendre et discuter à l'aide de simulations 3D virtuelles ou de leurs propres jouets dans un cadre scientifique. Toutes les simulations 3D sont sans frais et instantanées.