Virtualismo Song Avatar 3D

作用

我们的应用会使用使用 Google Gemini 处理过的歌曲中的信息来提取歌词并将其分隔为段落。进行这种分离是为了将可能的情感与每个段落相关联，并使用 3D 化身将此化身的姿势和动画与歌曲的音频同步。
歌曲处理
文本提取：我们使用 Google Gemini 处理歌曲并提取完整文本。歌曲的音频文件（可以是 WAV 或 MP3 格式）会上传到该应用。段落分隔：提取的文字会被划分为各个段落。
情感分析：系统会分析每个段落，以识别和关联可能的情感。
API 公开
系统会公开一个 API，以便其他应用可以使用存储的数据。此 API 提供对歌曲信息的访问权限，包括段落文本和关联的情感。
JavaScript 中的示例应用
API 使用：使用 JavaScript 开发的示例应用会使用该 API 检索歌曲数据。
音频播放：该应用支持播放歌曲的音频。
与 3D 化身关联：为每段歌词记录的情感会与动画 3D 化身相关联。
情感表达：3D 化身可以通过姿势和面部表情表达情感，提供与音乐相得益彰的视觉体验。