Hình đại diện 3D của Virtualismo Song

Ý nghĩa

Ứng dụng của chúng tôi sử dụng thông tin từ các bài hát đã được xử lý bằng Google Gemini để trích xuất văn bản và phân tách văn bản đó thành các đoạn. Mục đích của việc phân tách này là liên kết các cảm xúc có thể có với từng đoạn văn và sử dụng một Hình đại diện 3D để đồng bộ hoá các tư thế và ảnh động của Hình đại diện này với âm thanh của bài hát.
Xử lý bài hát
Trích xuất văn bản: Chúng tôi sử dụng Google Gemini để xử lý các bài hát và trích xuất toàn bộ văn bản. Tệp âm thanh của các bài hát (có thể ở định dạng WAV hoặc MP3) được tải lên ứng dụng. Phân tách đoạn văn: Văn bản được trích xuất được chia thành các đoạn văn riêng lẻ.
Phân tích cảm xúc: Mỗi đoạn văn được phân tích để xác định và liên kết các cảm xúc có thể có.
Hiển thị API
Một API được hiển thị để các ứng dụng khác có thể sử dụng dữ liệu được lưu trữ. API này cung cấp quyền truy cập vào thông tin bài hát, bao gồm cả văn bản của các đoạn và cảm xúc liên quan.
Ứng dụng mẫu trong JavaScript
Sử dụng API: Ứng dụng mẫu được phát triển bằng JavaScript sử dụng API để truy xuất dữ liệu bài hát .
Phát âm thanh: Ứng dụng cho phép phát âm thanh của bài hát.
Liên kết với hình đại diện 3D: Cảm xúc được ghi lại cho mỗi đoạn bài hát được liên kết với một hình đại diện 3D động.
Biểu lộ cảm xúc: Hình đại diện 3D có thể thể hiện cảm xúc thông qua các tư thế và biểu cảm trên khuôn mặt, mang đến trải nghiệm hình ảnh bổ sung cho âm nhạc.