Virtualismo Song Avatar 3D

Descrizione

La nostra applicazione utilizza le informazioni dei brani che sono stati elaborati utilizzando Google Gemini per estrarre il testo e separarlo in paragrafi. Lo scopo di questa separazione è associare possibili sentimenti a ogni paragrafo e utilizzare un avatar 3D per sincronizzare le pose e le animazioni di questo avatar con l'audio del brano.
Elaborazione dei brani
Estrazione del testo: utilizziamo Google Gemini per elaborare i brani ed estrarre il testo completo. I file audio dei brani, che possono essere in formato WAV o MP3, vengono caricati nell'applicazione. Separazione dei paragrafi: il testo estratto viene suddiviso in singoli paragrafi.
Analisi del sentiment: ogni paragrafo viene analizzato per identificare e associare possibili sentiment.
Esposizione dell'API: un'API viene esposta in modo che i dati archiviati possano essere utilizzati da altre applicazioni.
Questa API fornisce l'accesso alle informazioni sui brani, incluso il testo dei paragrafi e i sentimenti associati.
Applicazione di esempio in JavaScript
Utilizzo dell'API: l'applicazione di esempio, sviluppata in JavaScript, utilizza l'API per recuperare i dati dei brani .
Riproduzione audio: l'applicazione consente la riproduzione dell'audio del brano.
Associazione con avatar 3D: i sentimenti registrati per ogni paragrafo del brano sono associati a un avatar 3D animato.
Espressione del sentimento: l'avatar 3D può esprimere i sentimenti attraverso pose ed espressioni facciali, offrendo un'esperienza visiva che integra la musica.