Visibl

Funktion

Visibl ist eine iOS-App, mit der Hörbücher in immersive Videobücher umgewandelt werden, sodass das Hören zu einem visuellen Erlebnis wird. Während du dir ein Hörbuch anhörst, generiert Visibl dynamisch Bilder in Echtzeit, sodass Nutzer eine einzigartige visuelle Interpretation des Hörbuchs sehen können, das sie gerade hören. Die App erstellt nicht nur statische Bilder, sondern ermöglicht es Nutzern, die visuellen Elemente zu beeinflussen und zu steuern, wodurch jedes Buch individuell gestaltet wird.

Visibl nutzt die Vorteile der Gemini API auf drei wichtige Arten:

– Audiotranskription: Die App transkribiert das Hörbuchaudio in Text, um eine genaue Darstellung der Inhalte zu ermöglichen.

– Erkennung von Namensobjekten (Named Entity Recognition, NER): So kann die App wichtige Personen, Orte und Objekte im Text identifizieren und hervorheben, die für die Erstellung kontextbezogener visueller Elemente entscheidend sind (Gemini 1.5 Pro).

– Generierung von Bildvorschlägen: Anhand der Erkenntnisse aus der Transkription und der NER generiert die App detaillierte und personalisierte Bildvorschläge, die dann von Diffusionsmodellen verwendet werden, um die visuellen Elemente in Echtzeit zu erstellen. (Gemini 1.5 Pro)

Diese Kombination von Gemini API-Funktionen sorgt dafür, dass Visibl nicht nur eine neue Möglichkeit bietet, Hörbücher zu erleben, sondern die Nutzung auch individuell auf jeden Nutzer zuschneidet.