Virtualismo Песня Аватар 3D

Что он делает

Наше приложение использует информацию из песен, обработанных с помощью Google Gemini, для извлечения текста и разделения его на абзацы. Цель этого разделения — связать возможные чувства с каждым абзацем и использовать 3D-аватар для синхронизации поз и анимаций этого аватара с аудиодорожкой песни.
Обработка песни
Извлечение текста: Мы используем Google Gemini для обработки песен и извлечения полного текста. Аудиофайлы песен, которые могут быть в формате WAV или MP3, загружаются в приложение. Разделение абзацев: Извлеченный текст делится на отдельные абзацы.
Анализ настроений: каждый абзац анализируется для выявления и связывания возможных настроений.
API-воздействие
API предоставляется для того, чтобы сохранённые данные могли использоваться другими приложениями. Этот API обеспечивает доступ к информации о песне, включая текст абзацев и связанные с ними настроения.
Пример приложения на JavaScript
Использование API: пример приложения, разработанный на JavaScript, использует API для извлечения данных о песнях.
Воспроизведение аудио: приложение позволяет воспроизводить аудиозапись песни.
Ассоциация с 3D-аватаром: записанные эмоции для каждого абзаца песни ассоциируются с анимированным 3D-аватаром.
Выражение чувств: 3D-аватар может выражать чувства с помощью поз и мимики, обеспечивая визуальный опыт, дополняющий музыку.