Klimat
Generator audiobooków z dźwiękiem przestrzennym
Działanie
Atmosphere współpracuje z interfejsem Google Gemini Flash API w 2 niezależnych krokach, aby generować wciągające i spójne nagrania audio.
Krok 1. Czasy stempla
Na początku Atmosphere otrzymuje pełne nagranie audio i otrzymuje zadanie znalezienia w książce audio czasów stempla odpowiadających scenom, które mają zostać wzbogacone o dźwięk otoczenia. Oprócz sygnału czasowego tych scen Gemini generuje też zwięzły opis kontekstu sceny oraz istotne słowa kluczowe z tej sceny, które tworzą ogólny ton danego segmentu.
Krok 2. Mapowania
Korzystając ze słów kluczowych zebranych dla każdej sceny zidentyfikowanej przez Gemini, Atmosphere przeszukuje ponad 33 000 efektów dźwiękowych i powiązanych ze sobą słów kluczowych w bibliotece efektów dźwiękowych BBC, a następnie pobiera wszystkie dźwięki, które zawierają co najmniej jedno słowo kluczowe pasujące do sceny. Po skompilowaniu na liście wszystkich efektów dźwiękowych z co najmniej jednym pasującym słowem kluczowym Gemini wybiera z tej listy dźwięk, który najlepiej pasuje do opisu sceny utworzonego przez Gemini w kroku 1.
Krok 3. Nakładanie
Gdy wszystkie dźwięki zostaną wybrane dla każdej sceny, Atmosphere normalizuje, przyciemnia i przycina wybrane efekty dźwiękowe, a następnie nakłada je na odpowiednie segmenty audiobooka.
Utworzone za pomocą
- Sieć/Chrome
Zespół
Autor:
Paul Bokelman, Sawyer Rice, Rohan Koshy, Nik Belle
Od
Stany Zjednoczone