Атмосфера

Что он делает

Atmosphere взаимодействует с API Google Gemini Flash в два независимых этапа для создания захватывающих и связных аудиозаписей.
Шаг 1: Временные метки
Первоначально Atmosphere предоставляется аудиозапись в полном объеме, и ей поручено найти временные метки в аудиокниге, которые соответствуют сценам, которые будут улучшены фоновым звуком. Помимо предоставления временной метки этих сцен, Gemini также создает краткое описание контекста сцены и основные ключевые слова из сцены, которые создают общий тон сегмента.
Шаг 2: Сопоставление
Используя ключевые слова, собранные для каждой сцены, идентифицированной Gemini, Atmosphere просеивает более 33 000 звуковых эффектов и связанных с ними ключевых слов в библиотеке звуковых эффектов BBC и получает все звуки, в которых есть хотя бы одно ключевое слово, совпадающее с ключевым словом сцены. Поскольку все звуковые эффекты содержат минимум одно совпадающее ключевое слово, собранное в список, Gemini предлагается выбрать из списка звук, который лучше всего соответствует описанию сцены, созданному Gemini на шаге 1.
Шаг 3: Наложение
После того, как все звуки выбраны для каждой сцены, Atmosphere нормализует, затухает, обрезает, а затем накладывает выбранные звуковые эффекты на соответствующие сегменты аудиокниги.