Avatar de canción de Virtualismo 3D

Qué hace

Nuestra aplicación usa información de canciones que se procesaron con Google Gemini para extraer el texto y separarlo en párrafos. El propósito de esta separación es asociar posibles sentimientos con cada párrafo y usar un avatar en 3D para sincronizar las poses y animaciones de este avatar con el audio de la canción.
Procesamiento de canciones
Extracción de texto: Usamos Google Gemini para procesar las canciones y extraer el texto completo. Los archivos de audio de las canciones, que pueden estar en formato WAV o MP3, se suben a la aplicación. Separación de párrafos: El texto extraído se divide en párrafos individuales.
Análisis de sentimientos: Cada párrafo se analiza para identificar y asociar posibles sentimientos.
Exposición de la API
Se expone una API para que otras aplicaciones puedan consumir los datos almacenados. Esta API proporciona acceso a la información de las canciones, incluido el texto de los párrafos y los sentimientos asociados.
Ejemplo de aplicación en JavaScript
Consumo de API: La aplicación de ejemplo, desarrollada en JavaScript, consume la API para recuperar los datos de las canciones .
Reproducción de audio: La aplicación permite reproducir el audio de la canción.
Asociación con avatar 3D: Los sentimientos registrados para cada párrafo de la canción están asociados con un avatar 3D animado.
Expresión de sentimientos: El avatar 3D puede expresar los sentimientos a través de poses y expresiones faciales, lo que proporciona una experiencia visual que complementa la música.