Virtualismo Song Avatar 3D

Funktion

Unsere App verwendet Informationen aus Songs, die mit Google Gemini verarbeitet wurden, um den Text zu extrahieren und in Absätze zu unterteilen. Mit dieser Trennung können wir jedem Absatz mögliche Gefühle zuordnen und mit einem 3D-Avatar die Posen und Animationen dieses Avatars mit dem Audiotrack des Songs synchronisieren.
Songverarbeitung
Textextraktion: Wir verwenden Google Gemini, um die Songs zu verarbeiten und den vollständigen Text zu extrahieren. Die Audiodateien der Songs, die im WAV- oder MP3-Format vorliegen können, werden in die Anwendung hochgeladen. Absätze trennen: Der extrahierte Text wird in einzelne Absätze unterteilt.
Sentimentanalyse: Jeder Absatz wird analysiert, um mögliche Emotionen zu identifizieren und zuzuordnen.
API-Bereitstellung:
Eine API wird bereitgestellt, damit die gespeicherten Daten von anderen Anwendungen verwendet werden können. Diese API bietet Zugriff auf Songinformationen, einschließlich des Textes der Absätze und der zugehörigen Emotionen.
Beispielanwendung in JavaScript
API-Nutzung: Die in JavaScript entwickelte Beispielanwendung nutzt die API, um die Songdaten abzurufen .
Audiowiedergabe: Die Anwendung ermöglicht die Wiedergabe des Audiotracks des Songs.
Verknüpfung mit 3D-Avatar: Die aufgezeichneten Emotionen für jeden Songabschnitt werden mit einem animierten 3D-Avatar verknüpft.
Emotionsausdruck: Der 3D-Avatar kann die Emotionen durch Posen und Gesichtsausdrücke ausdrücken und so ein visuelles Erlebnis bieten, das die Musik ergänzt.