SmartAvatar

การทำงาน

แอปของเราเปลี่ยนการไลฟ์สดให้เป็นประสบการณ์แบบอินเทอร์แอกทีฟที่ผู้ชมสามารถถามคำถามผ่านแชท YouTube และรับคำตอบแบบเรียลไทม์จากรูปโปรไฟล์ Einstein ที่ทำงานด้วยระบบ AI แอปใช้ประโยชน์จาก Gemini API เพื่อประมวลผลและสร้างคำตอบสำหรับคำถามของผู้ชม เมื่อได้รับคำถาม ระบบจะส่งคำถามไปยัง Gemini API เพื่อขอคำตอบ พร้อมกับแปลงเป็นเสียงผ่านบริการอ่านออกเสียงข้อความ จากนั้นระบบจะซิงค์เสียงนี้กับรูปโปรไฟล์ของไอน์สไตน์ที่เปิดใช้การแยกคำพูดเป็นเสียงใน Unity3D ซึ่งทำให้ดูเหมือนว่าไอน์สไตน์กำลังพูดกับผู้ชมโดยตรง โดยระบบจะสตรีมกระบวนการทั้งหมดแบบสดบน YouTube ซึ่งช่วยให้ผู้ชมเห็นคำถาม ชื่อ และรูปภาพของตนที่แสดงบนหน้าจอขณะที่ Einstein ตอบคำถาม ระบบจะจัดคิวและประมวลผลคำถามตามลำดับ รวมถึงจัดการทั้งคำถามและคำตอบอย่างเป็นระเบียบ เพื่อให้การดำเนินการเป็นไปอย่างราบรื่น การผสานรวม Gemini API เป็นกุญแจสำคัญในการให้คำตอบที่ถูกต้องและทันท่วงที ซึ่งทำให้ผู้ใช้ได้รับประสบการณ์การใช้งานที่ดึงดูดใจและปรับเปลี่ยนได้