SANT AR

תיאור

האפליקציה שלנו מאפשרת לילדים להרכיב צעצועי קרטון של SCABO באמצעות הוראות מפורטות בתלת-ממד. לאחר מכן, הילדים יכולים להפוך את צעצועי הנייר לצעצועים חכמים ב-AR באמצעות יכולות ה-AI של Gemini. האפליקציה שלנו יכולה לזהות ולעקוב אחרי המיקום התלת-ממדי של צעצועי קרטון בזמן אמת באמצעות אלגוריתם ראיית המחשב התלת-ממדי שלנו. אנחנו משתמשים ביכולות של Gemini 1.5 Pro, כולל ראייה והשלמת טקסט, כדי ליצור עוזר AI לילדים בנושאי לימוד מדעיים. מערכת המלאי שלנו בתלת-ממד, שכוללת יותר מ-500 סימולציות של מודלים של אנטומיה אנושית, מכונות ומרחבים. כדי למנוע הזיות של AI, עיצבנו את הסימולציות התלת-ממדיות על ידי הוספת טקסטורה למודלים התלת-ממדיים בצבע שונה לחלקים שונים של אובייקטים מדעיים. ה-AI של Gemini מזהה טוב יותר את הסימולציות הווירטואליות ומספק הסברים טובים יותר לילדים. בנוסף, אנחנו משתמשים ב-Gemini API כדי לזהות אובייקטים בסצנות המדעיות. כשנותנים ל-AI של Gemini תמונה שכוללת מודלים וירטואליים תלת-ממדיים או פריט אמיתי בחזית, ושואלים שאלה כמו 'איפה ההילוכים?', המערכת יכולה לזהות את המיקום הדו-ממדי של החלקים. לאחר מכן, אנחנו משתמשים באלגוריתם למיפוי תלת-ממדי כדי למפות את המיקום הדו-ממדי לאובייקט המדעי. לבסוף, אנחנו מעודדים ילדים לעשות שימוש חוזר בצעצועי הפלסטיק הקיימים שלהם במצב 'סיפורי צעצועים ב-AR'. ממשק ה-API של Gemini משמש ליצירת סיפורי המדע בדיוני בין מדענים וירטואליים לבין צעצוע הפלסטיק. הילדים יכולים ללמוד ולדבר עם סימולציות וירטואליות תלת-ממדיות או עם הצעצועים שלהם בנושאים מדעיים. כל הסימולציות התלת-ממדיות הן בחינם ומתבצעות בזמן אמת.