Virtualismo Song Avatar 3D

用途

我們的應用程式會使用已透過 Google Gemini 處理的歌曲資訊，擷取文字並分成段落。之所以要分開，是為了將每段文字與可能的情緒建立關聯，並使用 3D 虛擬人物，將該虛擬人物的姿勢和動畫與歌曲的音訊同步。
歌曲處理
文字擷取：我們會使用 Google Gemini 處理歌曲並擷取完整文字。歌曲的音訊檔案 (可為 WAV 或 MP3 格式) 會上傳至應用程式。段落分隔：系統會將擷取的文字分隔成個別段落。
情緒分析：系統會分析每個段落，找出並連結可能的情緒。
API 公開：系統會公開 API，讓其他應用程式可使用儲存的資料。
這個 API 可讓您存取歌曲資訊，包括段落的文字和相關情緒。
JavaScript 中的範例應用程式
API 使用方式：這個以 JavaScript 開發的範例應用程式會使用 API 擷取歌曲資料。
音訊播放：這個應用程式可播放歌曲的音訊。
與 3D 虛擬人物建立關聯：每個歌曲段落的已錄製情緒會與動畫 3D 虛擬人物建立關聯。
情緒表情：3D 虛擬人物可透過姿勢和面部表情表達情緒，提供與音樂相輔的視覺體驗。