SmartAvatar

תיאור

האפליקציה שלנו הופכת את הסטרימינג בשידור חי לחוויה אינטראקטיבית שבה הצופים יכולים לשאול שאלות בצ'אט ב-YouTube ולקבל תשובות בזמן אמת מאימג' של אלברט איינשטיין מבוסס-AI. האפליקציה משתמשת ב-Gemini API כדי לעבד ולייצר תשובות לשאלות של הקהל. כשמתקבלת שאלה, היא נשלחת ל-Gemini API לקבלת תשובה, ובמקביל היא מומרת לאודיו באמצעות שירות להמרת טקסט לדיבור. לאחר מכן, האודיו מסונכרן עם גרסת אנימציה של איינשטיין עם תמיכה בהתאמת שפתים ב-Unity3D, וכך נוצרת האשליה שאיינסשטיין מדבר ישירות לצופים. התהליך כולו מתבצע בשידור חי ב-YouTube, כך שהצופים יכולים לראות את השאלה, השם והתמונה שלהם מוצגים במסך בזמן ש-Einstein משיב. כדי להבטיח תפעול חלק, המערכת שומרת את השאלות בתור ומעבדת אותן ברצף, תוך ניהול מסודר של השאלות והתשובות. השילוב של Gemini API הוא המפתח לספק תשובות מדויקות ועדכניות, וכך ליצור חוויה דינמית ומעניינת למשתמשים.