Virtualismo Song Avatar 3D

Description

Notre application utilise les informations des titres traités à l'aide de Google Gemini pour extraire le texte et le séparer en paragraphes. L'objectif de cette séparation est d'associer des sentiments possibles à chaque paragraphe et d'utiliser un avatar 3D pour synchroniser les poses et les animations de cet avatar avec l'audio de la chanson.
Traitement des titres
Extraction du texte: nous utilisons Google Gemini pour traiter les titres et en extraire le texte complet. Les fichiers audio des titres, qui peuvent être au format WAV ou MP3, sont importés dans l'application. Séparation des paragraphes: le texte extrait est divisé en paragraphes individuels.
Analyse des sentiments: chaque paragraphe est analysé afin d'identifier et d'associer les sentiments possibles.
Exposition de l'API
Une API est exposée afin que les données stockées puissent être utilisées par d'autres applications. Cette API permet d'accéder aux informations sur les titres, y compris le texte des paragraphes et les sentiments associés.
Exemple d'application en JavaScript
Consommation de l'API: l'exemple d'application, développé en JavaScript, utilise l'API pour récupérer les données des titres .
Lecture audio: l'application permet de lire l'audio du titre.
Association à un avatar 3D: les sentiments enregistrés pour chaque paragraphe du titre sont associés à un avatar 3D animé.
Expression des sentiments: l'avatar 3D peut exprimer les sentiments par des poses et des expressions faciales, offrant une expérience visuelle qui complète la musique.