SANT AR

O que faz?

Nosso app permite que as crianças montem brinquedos de papelão SCABO com instruções detalhadas em 3D. Em seguida, as crianças podem transformar os brinquedos de papelão em brinquedos inteligentes em RA com os recursos de IA do Gemini. Nosso app pode detectar e rastrear a posição 3D de brinquedos de papelão em tempo real com nosso próprio algoritmo de visão computacional 3D. Usamos os recursos do Gemini 1.5 Pro, incluindo visão e preenchimento de texto, para criar um assistente de IA para crianças que estão aprendendo disciplinas científicas. Nosso sistema de inventário 3D inclui mais de 500 simulações de anatomia humana, mecânica e modelos espaciais. Criamos as simulações 3D texturizando os modelos 3D com cores diferentes para diferentes partes de objetos científicos para evitar a alucinação de IA. A IA do Gemini reconhece melhor as simulações virtuais e oferece explicações melhores para crianças. Além disso, usamos a API Gemini para detectar objetos nas cenas científicas. Dada a imagem que inclui os modelos virtuais 3D em primeiro plano ou o artefato real e uma pergunta dos usuários, como "Onde está a engrenagem diferencial?", a detecção de objetos da IA Gemini pode detectar a posição 2D das peças. Em seguida, temos o algoritmo de mapeamento 3D para mapear a posição 2D no objeto científico. Por fim, incentivamos as crianças a reutilizar os brinquedos de plástico no modo de histórias com brinquedos em RA. A API Gemini é usada para gerar histórias de ficção científica entre cientistas virtuais e um brinquedo de plástico. As crianças podem aprender e conversar com simulações virtuais em 3D ou com os próprios brinquedos em um contexto científico. Todas as simulações 3D são sem custo financeiro e em tempo real.