SANT AR

Ý nghĩa

Ứng dụng của chúng tôi cho phép trẻ em lắp ráp đồ chơi bằng bìa cứng SCABO theo hướng dẫn chi tiết 3D. Sau đó, trẻ có thể biến đồ chơi bằng bìa cứng thành đồ chơi thông minh trong AR bằng các tính năng AI của Gemini. Ứng dụng của chúng tôi có thể phát hiện và theo dõi vị trí 3D của đồ chơi bằng bìa cứng theo thời gian thực bằng thuật toán thị giác máy tính 3D của riêng chúng tôi. Chúng tôi sử dụng các tính năng của Gemini 1.5 Pro, bao gồm cả tính năng nhận dạng hình ảnh và hoàn thành văn bản, để trở thành trợ lý AI giúp trẻ em học các môn khoa học. Hệ thống khoảng không quảng cáo 3D của chúng tôi bao gồm hơn 500 mô hình mô phỏng về giải phẫu học, cơ học và không gian. Chúng tôi đã thiết kế mô phỏng 3D bằng cách tạo hoạ tiết cho các mô hình 3D với màu sắc khác nhau cho các phần khác nhau của đối tượng khoa học để ngăn chặn ảo giác AI. AI của Gemini nhận dạng các mô phỏng ảo tốt hơn và giải thích rõ ràng hơn cho trẻ. Hơn nữa, chúng tôi sử dụng API Gemini để phát hiện đối tượng trong các cảnh khoa học. Khi có hình ảnh bao gồm các mô hình 3D ảo ở nền trước hoặc cấu phần phần mềm thực và câu hỏi của người dùng như "Bộ vi sai ở đâu", tính năng phát hiện đối tượng AI của Gemini có thể phát hiện vị trí 2D của các bộ phận. Sau đó, chúng ta có thuật toán ánh xạ 3D để ánh xạ vị trí 2D vào đối tượng khoa học. Cuối cùng, chúng tôi khuyến khích trẻ sử dụng lại đồ chơi bằng nhựa hiện có trong chế độ kể chuyện bằng đồ chơi AR. API Gemini được dùng để tạo các câu chuyện khoa học viễn tưởng giữa các nhà khoa học ảo và đồ chơi bằng nhựa. Trẻ có thể vừa học vừa trò chuyện với các mô phỏng 3D ảo hoặc đồ chơi của riêng mình trong phạm vi khoa học. Tất cả các bản mô phỏng 3D đều miễn phí và có thể thực hiện ngay lập tức.