Klimat
Generator audiobooków z dźwiękiem przestrzennym
Działanie
Atmosphere współpracuje z interfejsem Google Gemini Flash API w 2 niezależnych krokach, aby generować wciągające i spójne nagrania audio.
Krok 1. Czasy stempla
Na początku Atmosphere otrzymuje nagranie audio w całości i ma za zadanie zlokalizowanie w książce audio czasów stempla odpowiadających scenom, które mają zostać wzbogacone o dźwięk otoczenia. Oprócz dodania sygnatury czasowej tych scen Gemini generuje również zwięzły opis kontekstu sceny oraz istotne słowa kluczowe z sceny, które tworzą ogólny ton danego segmentu.
Krok 2. Mapowania
Korzystając ze słów kluczowych zebranych dla każdej sceny zidentyfikowanej przez Gemini, Atmosphere przeszukuje ponad 33 000 efektów dźwiękowych i powiązanych z nimi słów kluczowych w bibliotece efektów dźwiękowych BBC, a następnie pobiera wszystkie dźwięki, w przypadku których występuje co najmniej jedno słowo kluczowe pasujące do sceny. Po skompilowaniu na liście wszystkich efektów dźwiękowych z co najmniej jednym pasującym słowem kluczowym Gemini wybiera z tej listy dźwięk, który najlepiej pasuje do opisu sceny utworzonego przez Gemini w kroku 1.
Krok 3. Nakładanie
Gdy wszystkie dźwięki zostaną wybrane dla każdej sceny, Atmosphere normalizuje, wycisza i przycina wybrane efekty dźwiękowe, a następnie nakłada je na odpowiednie segmenty audiobooka.
Wytworzono za pomocą
- Sieć/Chrome
Zespół
Autor:
Paul Bokelman, Sawyer Rice, Rohan Koshy, Nik Belle
Z
Stany Zjednoczone