Virtualismo Song Avatar 3D

การทำงาน

แอปพลิเคชันของเราใช้ข้อมูลจากเพลงที่ประมวลผลโดยใช้ Google Gemini เพื่อดึงข้อความและแยกออกเป็นย่อหน้า วัตถุประสงค์ของการแยกนี้คือการเชื่อมโยงความรู้สึกที่เป็นไปได้กับแต่ละย่อหน้า และใช้รูป Avatar 3 มิติเพื่อซิงค์ท่าทางและภาพเคลื่อนไหวของ Avatar นี้กับเสียงของเพลง
การประมวลผลเพลง
การดึงข้อความ: เราใช้ Google Gemini เพื่อประมวลผลเพลงและดึงข้อความแบบเต็ม ระบบจะอัปโหลดไฟล์เสียงของเพลงซึ่งอยู่ในรูปแบบ WAV หรือ MP3 ไปยังแอปพลิเคชัน การแยกย่อหน้า: ระบบจะแบ่งข้อความที่ดึงมาออกเป็นย่อหน้าๆ
การวิเคราะห์ความรู้สึก: ระบบจะวิเคราะห์แต่ละย่อหน้าเพื่อระบุและเชื่อมโยงความรู้สึกที่เป็นไปได้
การแสดง API
ระบบจะแสดง API เพื่อให้แอปพลิเคชันอื่นๆ ใช้ข้อมูลที่จัดเก็บไว้ได้ API นี้ให้สิทธิ์เข้าถึงข้อมูลเพลง ซึ่งรวมถึงข้อความของย่อหน้าและความรู้สึกที่เชื่อมโยงกัน
ตัวอย่างแอปพลิเคชันใน JavaScript
การใช้ API: ตัวอย่างแอปพลิเคชันที่พัฒนาใน JavaScript ใช้ API เพื่อดึงข้อมูลเพลง
การเล่นเสียง: แอปพลิเคชันอนุญาตให้เล่นเสียงของเพลง
การเชื่อมโยงกับรูป Avatar 3 มิติ: ความรู้สึกที่บันทึกไว้สำหรับย่อหน้าเพลงแต่ละย่อหน้าจะเชื่อมโยงกับรูป Avatar 3 มิติแบบเคลื่อนไหว
การแสดงความรู้สึก: รูป Avatar 3 มิติสามารถแสดงความรู้สึกผ่านท่าทางและการแสดงออกทางสีหน้า ซึ่งมอบประสบการณ์ภาพเสริมเพลง