САНТ АР

Что он делает

Наше приложение позволяет детям собирать картонные игрушки SCABO с подробными 3D-инструкциями. Затем дети могут превратить картонные игрушки в умные игрушки в дополненной реальности с возможностями Gemini AI. Наше приложение может обнаруживать и отслеживать 3D-положение картонных игрушек в реальном времени с помощью нашего собственного алгоритма 3D-компьютерного зрения. Мы используем возможности Gemini 1.5 Pro, включая зрение и завершение текста, чтобы стать помощником ИИ для детей в изучении научных предметов. Наша система 3D-инвентаризации включает более 500 симуляций в области анатомии человека, механики и космических моделей. Мы разработали 3D-симуляции, текстурируя 3D-модели разными цветами для разных частей научных объектов, чтобы предотвратить галлюцинации ИИ. Gemini AI лучше распознает виртуальные симуляции и дает детям лучшие объяснения. Кроме того, мы используем API Gemini для обнаружения объектов в научных сценах. Учитывая изображение, включающее виртуальные 3D-модели переднего плана или реальный артефакт, и вопрос от пользователей, такой как «Где дифференциальная передача», обнаружение объектов Gemini AI может определять 2D-положение деталей. Затем у нас есть алгоритм 3D-картирования для отображения 2D-позиции в научном объекте. Наконец, мы призываем детей повторно использовать имеющиеся у них пластиковые игрушки в режиме игрушек AR. API Gemini используется для генерации научно-фантастических историй между виртуальными учеными и пластиковой игрушкой. Дети могут как учиться, так и общаться с виртуальными 3D-симуляциями или своими собственными игрушками в научном контексте. Все 3D-симуляции бесплатны и работают на лету.