Virtualismo Song Avatar 3D

Działanie

Nasza aplikacja korzysta z informacji z utworów, które zostały przetworzone za pomocą Google Gemini, aby wyodrębnić tekst i podzielić go na akapity. Celem tego podziału jest powiązanie możliwych emocji z każdym akapitem oraz użycie awatara 3D do synchronizacji jego póz i animacji z dźwiękiem utworu.
Przetwarzanie utworu
Wyodrębnianie tekstu: do przetwarzania utworów i wyodrębniania pełnego tekstu używamy Google Gemini. Pliki audio utworów, które mogą być w formacie WAV lub MP3, są przesyłane do aplikacji. Podział na akapity: wyodrębniony tekst jest dzielony na poszczególne akapity.
Analiza nastroju: każdy akapit jest analizowany w celu identyfikacji i powiązania możliwych nastrojów.
Dostęp do interfejsu API: interfejs API jest udostępniany, aby przechowywane dane mogły być wykorzystywane przez inne aplikacje.
Ten interfejs API zapewnia dostęp do informacji o utworze, w tym tekstu akapitów i powiązanych z nimi emocji.
Przykładowa aplikacja w JavaScript
Korzystanie z interfejsu API: przykładowa aplikacja, opracowana w JavaScript, korzysta z interfejsu API, aby pobierać dane o utworach .
Odtwarzanie dźwięku: aplikacja umożliwia odtwarzanie dźwięku utworu.
Powiązanie z awatarem 3D: zarejestrowane emocje w każdym akapicie utworu są powiązane z animowanym awatarem 3D.
Wyrażanie emocji: awatar 3D może wyrażać emocje za pomocą póz i wyrazów twarzy, zapewniając w ten sposób wizualne uzupełnienie muzyki.