SANT AR

Funktion

Mit unserer App können Kinder SCABO-Kartonspaß-Spielzeuge mit detaillierten 3D-Anleitungen zusammenbauen. Mit der Gemini-KI können Kinder die Kartonspielzeuge dann in AR in intelligente Spielzeuge verwandeln. Unsere App kann die 3D-Position von Pappspielzeug mit unserem eigenen 3D-Computer-Vision-Algorithmus in Echtzeit erkennen und verfolgen. Wir nutzen die Funktionen von Gemini 1.5 Pro, einschließlich Vision und Textvervollständigung, um einen KI-Assistenten für Kinder beim Lernen naturwissenschaftlicher Fächer zu entwickeln. Unser 3D-Inventarsystem mit mehr als 500 Simulationen in den Bereichen menschliche Anatomie, Mechanik und Raummodelle. Wir haben die 3D-Simulationen so gestaltet, dass die 3D-Modelle für verschiedene Teile wissenschaftlicher Objekte mit unterschiedlichen Farben texturiert wurden, um KI-Halluzinationen zu vermeiden. Die Gemini-KI erkennt die virtuellen Simulationen besser und kann Kindern besser erklären, was passiert. Außerdem verwenden wir die Gemini API, um Objekte in den wissenschaftlichen Szenen zu erkennen. Wenn ein Bild mit virtuellen 3D-Modellen im Vordergrund oder einem realen Artefakt vorliegt und ein Nutzer eine Frage stellt, z. B. „Wo ist das Differenzial?“, kann die KI-Objekterkennung von Gemini die 2D-Position der Teile erkennen. Dann haben wir einen 3D-Mapping-Algorithmus, der die 2D-Position in das wissenschaftliche Objekt abbildet. Außerdem möchten wir Kinder dazu ermutigen, ihr vorhandenes Plastikspielzeug im AR-Modus für Spielzeuggeschichten wiederzuverwenden. Die Gemini API wird verwendet, um die Science-Fiction-Geschichten zwischen virtuellen Wissenschaftlern und dem Plastikspielzeug zu generieren. Kinder können mit virtuellen 3D-Simulationen oder ihren eigenen Spielsachen im wissenschaftlichen Bereich lernen und sprechen. Alle 3D-Simulationen sind kostenlos und können direkt ausgeführt werden.