Virtualismo Song Avatar 3D

機能

このアプリは、Google Gemini を使用して処理された曲の情報を使用してテキストを抽出し、段落に分割します。この分割は、考えられる感情を各段落に関連付け、3D アバターを使用して、このアバターのポーズとアニメーションを曲の音声と同期することを目的としています。
曲の処理
テキストの抽出: Google Gemini を使用して曲を処理し、全文を抽出します。曲の音声ファイル（WAV 形式または MP3 形式）がアプリにアップロードされます。段落分割: 抽出されたテキストは個々の段落に分割されます。
感情分析: 各段落が分析され、考えられる感情が特定されて関連付けられます。
API 公開
API が公開され、保存されたデータを他のアプリケーションで使用できるようになります。この API を使用すると、段落のテキストや関連する感情など、曲の情報にアクセスできます。
JavaScript のサンプル アプリケーション
API の使用: JavaScript で開発されたサンプル アプリケーションは、API を使用して曲のデータを取得します。
音声の再生: アプリケーションでは、曲の音声を再生できます。
3D アバターとの関連付け: 曲の各段落で記録された感情は、アニメーション化された 3D アバターに関連付けられます。
感情の表現: 3D アバターはポーズや表情を通じて感情を表現し、音楽を補完する視覚的な体験を提供します。