SANT AR

การทำงาน

แอปของเราช่วยให้เด็กๆ ประกอบของเล่นกระดาษแข็ง SCABO ด้วยวิธีการแบบ 3 มิติที่ละเอียด จากนั้นเด็กๆ จะเปลี่ยนของเล่นกระดาษแข็งให้เป็นของเล่นอัจฉริยะใน AR ได้ด้วยความสามารถของ AI ใน Gemini แอปของเราสามารถตรวจจับและติดตามตำแหน่ง 3 มิติของของเล่นกระดาษแข็งแบบเรียลไทม์ด้วยอัลกอริทึมคอมพิวเตอร์วิทัศน์ 3 มิติของเราเอง เราใช้ความสามารถของ Gemini 1.5 Pro ซึ่งรวมถึงการมองเห็นและการเติมข้อความเพื่อเป็นผู้ช่วย AI สำหรับเด็กๆ ในการเรียนวิชาวิทยาศาสตร์ ระบบคลัง 3 มิติของเราซึ่งมีโมเดลกายวิภาคศาสตร์ของมนุษย์ กลไก และอวกาศจำลองมากกว่า 500 รายการ เราออกแบบการจำลอง 3 มิติโดยการใช้พื้นผิวโมเดล 3 มิติเป็นสีที่แตกต่างกันสำหรับส่วนต่างๆ ของวัตถุทางวิทยาศาสตร์เพื่อป้องกันไม่ให้ AI ตีความผิดพลาด AI ของ Gemini จะจดจำการจำลองเสมือนจริงได้ดีขึ้นและอธิบายให้เด็กๆ เข้าใจได้ดียิ่งขึ้น นอกจากนี้ เรายังใช้ Gemini API เพื่อตรวจหาวัตถุในฉากวิทยาศาสตร์ เมื่อเห็นรูปภาพที่มีโมเดลเสมือนจริง 3 มิติหรือวัตถุจริงที่อยู่เบื้องหน้า และคำถามจากผู้ใช้ เช่น "เฟืองท้ายอยู่ตรงไหน" การตรวจหาวัตถุด้วย AI ของ Gemini จะตรวจหาตำแหน่ง 2 มิติของชิ้นส่วนได้ จากนั้นเรามีอัลกอริทึมการแมป 3 มิติเพื่อแมปตำแหน่ง 2 มิติไปยังวัตถุทางวิทยาศาสตร์ สุดท้าย เราขอแนะนำให้เด็กๆ ใช้ของเล่นพลาสติกที่มีอยู่ซ้ำในโหมดเรื่องราวเกี่ยวกับของเล่น AR Gemini API ใช้ในการสร้างเรื่องราวไซไฟระหว่างนักวิทยาศาสตร์เสมือนกับของเล่นพลาสติก เด็กๆ จะได้ทั้งเรียนรู้และพูดคุยกับภาพจำลอง 3 มิติเสมือนจริงหรือของเล่นของตัวเองในขอบเขตทางวิทยาศาสตร์ การจำลอง 3 มิติทั้งหมดเป็นแบบเรียลไทม์และไม่มีค่าใช้จ่าย