Avatar 3D da música Virtualismo

O que faz?

Nosso aplicativo usa informações de músicas processadas usando o Google Gemini para extrair o texto e separá-lo em parágrafos. O objetivo dessa separação é associar possíveis sentimentos a cada parágrafo e usar um avatar 3D para sincronizar as poses e animações desse avatar com o áudio da música.
Processamento de músicas
Extração de texto: usamos o Google Gemini para processar as músicas e extrair o texto completo. Os arquivos de áudio das músicas, que podem estar nos formatos WAV ou MP3, são enviados para o aplicativo. Separação de parágrafos: o texto extraído é dividido em parágrafos individuais.
Análise de sentimento: cada parágrafo é analisado para identificar e associar possíveis sentimentos.
Exposição de API
Uma API é exposta para que os dados armazenados possam ser consumidos por outros aplicativos. Essa API oferece acesso a informações da música, incluindo o texto dos parágrafos e os sentimentos associados.
Exemplo de aplicativo em JavaScript
Consumo de API: o exemplo de aplicativo, desenvolvido em JavaScript, consome a API para extrair os dados das músicas .
Reprodução de áudio: o aplicativo permite a reprodução do áudio da música.
Associação com avatar 3D: os sentimentos registrados de cada parágrafo da música são associados a um avatar 3D animado.
Expressão de sentimento: o avatar 3D pode expressar os sentimentos por meio de poses e expressões faciais, oferecendo uma experiência visual que complementa a música.