Generator audiodeskrypcji

Działanie

Generator audiodeskrypcji to narzędzie do tworzenia ścieżek audio z audiodeskrypcją do krótkich filmów w YouTube w ciągu kilku minut. Po otrzymaniu linku do filmu w YouTube aplikacja pobiera film, tytuł i opis. Następnie dzieli film na mniejsze fragmenty. Te fragmenty wraz z danymi z YouTube są najpierw używane do utworzenia „pliku kontekstowego” za pomocą Gemini. Jest to pierwszy etap wykrywania ogólnych szczegółów i identyfikowania wszystkich postaci. Następnie każdy fragment jest używany do tworzenia „pliku głośności”, który mierzy głośność w każdym interwale, oraz „transkrypcji” (za pomocą Gemini), która zawiera listę dialogów z filmu wraz z metadanymi. Wszystkie te informacje są ponownie przekazywane do Gemini, aby utworzyć „skrypt” obserwacji z dodatkiem sygnatur czasowych. Następnie te skrypty są przetwarzane przez usługę Text-to-Speech w Google Cloud, a powstały w ten sposób dźwięk jest ponownie sklejany, po czym użytkownikowi wyświetlany jest ostateczny wynik.