Klimat

Generator audiobooków z dźwiękiem przestrzennym

Działanie

Atmosphere współpracuje z interfejsem Google Gemini Flash API w 2 niezależnych krokach, aby generować wciągające i spójne nagrania audio.
Krok 1. Czasy stempla
Na początku Atmosphere otrzymuje pełne nagranie audio i otrzymuje zadanie znalezienia w książce audio czasów stempla odpowiadających scenom, które mają zostać wzbogacone o dźwięk otoczenia. Oprócz sygnału czasowego tych scen Gemini generuje też zwięzły opis kontekstu sceny oraz istotne słowa kluczowe z tej sceny, które tworzą ogólny ton danego segmentu.
Krok 2. Mapowania
Korzystając ze słów kluczowych zebranych dla każdej sceny zidentyfikowanej przez Gemini, Atmosphere przeszukuje ponad 33 000 efektów dźwiękowych i powiązanych ze sobą słów kluczowych w bibliotece efektów dźwiękowych BBC, a następnie pobiera wszystkie dźwięki, które zawierają co najmniej jedno słowo kluczowe pasujące do sceny. Po skompilowaniu na liście wszystkich efektów dźwiękowych z co najmniej jednym pasującym słowem kluczowym Gemini wybiera z tej listy dźwięk, który najlepiej pasuje do opisu sceny utworzonego przez Gemini w kroku 1.
Krok 3. Nakładanie
Gdy wszystkie dźwięki zostaną wybrane dla każdej sceny, Atmosphere normalizuje, przyciemnia i przycina wybrane efekty dźwiękowe, a następnie nakłada je na odpowiednie segmenty audiobooka.

Utworzone za pomocą

  • Sieć/Chrome

Zespół

Autor:

Paul Bokelman, Sawyer Rice, Rohan Koshy, Nik Belle

Od

Stany Zjednoczone