Virtualismo Song Avatar 3D

기능

이 애플리케이션은 Google Gemini를 사용하여 처리된 노래의 정보를 사용하여 텍스트를 추출하고 단락으로 구분합니다. 이 분리는 가능한 감정을 각 단락과 연결하고 3D 아바타를 사용하여 이 아바타의 포즈와 애니메이션을 노래의 오디오와 동기화하기 위한 것입니다.
노래 처리
텍스트 추출: Google Gemini를 사용하여 노래를 처리하고 전체 텍스트를 추출합니다. WAV 또는 MP3 형식일 수 있는 노래의 오디오 파일이 애플리케이션에 업로드됩니다. 단락 구분: 추출된 텍스트가 개별 단락으로 나뉩니다.
감정 분석: 각 단락을 분석하여 가능한 감정을 식별하고 연결합니다.
API 노출
저장된 데이터를 다른 애플리케이션에서 사용할 수 있도록 API가 노출됩니다. 이 API는 단락의 텍스트와 연결된 감정을 비롯한 노래 정보에 대한 액세스를 제공합니다.
JavaScript의 예시 애플리케이션
API 사용: JavaScript로 개발된 예시 애플리케이션은 API를 사용하여 노래 데이터를 검색합니다 .
오디오 재생: 애플리케이션을 통해 노래의 오디오를 재생할 수 있습니다.
3D 아바타와 연결: 각 노래 단락에 기록된 감정은 애니메이션 3D 아바타와 연결됩니다.
감정 표현: 3D 아바타는 포즈와 표정을 통해 감정을 표현하여 음악을 보완하는 시각적 경험을 제공할 수 있습니다.