Ambiente

Generator für Hörbücher mit immersivem Audio

Funktion

Atmosphere interagiert in zwei unabhängigen Schritten mit der Google Gemini Flash API, um immersive und zusammenhängende Audioaufnahmen zu generieren.
Schritt 1: Zeitstempel
Zuerst wird Atmosphere die Audioaufnahme in ihrer Gesamtheit zur Verfügung gestellt. Es muss dann Zeitstempel innerhalb des Hörbuchs finden, die Szenen entsprechen, die durch Umgebungsaudio verbessert werden könnten. Neben dem Zeitstempel dieser Szenen liefert Gemini auch eine kurze Beschreibung des Kontexts der Szene und wichtige Keywords aus der Szene, die den Gesamtton des Segments bestimmen.
Schritt 2: Zuordnungen
Anhand der für jede von Gemini erkannte Szene erfassten Keywords durchsucht Atmosphere die über 33.000 Toneffekte und die zugehörigen Keywords in der BBC-Toneffektbibliothek und holt alle Töne ab, die mindestens ein Keyword mit dem der Szene übereinstimmen. Für alle Soundeffekte wird mindestens ein übereinstimmendes Keyword in eine Liste aufgenommen. Gemini wird aufgefordert, den Sound aus der Liste auszuwählen, der am besten zur in Schritt 1 von Gemini erstellten Szenenbeschreibung passt.
Schritt 3: Overlay
Nachdem alle Sounds für jede Szene ausgewählt wurden, normalisiert, blendet, schneidet und überlagert Atmosphere die ausgewählten Soundeffekte auf die entsprechenden Hörbuchsegmente.

Basis

  • Web/Chrome

Team

Von

Paul Bokelman, Sawyer Rice, Rohan Koshy, Nik Belle

Von

USA