Visibl

Działanie

Visibl to aplikacja na iOS, która zamienia audiobooki w wciągające videobooki, dzięki czemu słuchanie staje się wizualną podróżą. Podczas słuchania Visibl dynamicznie generuje obrazy w czasie rzeczywistym, dzięki czemu użytkownicy mogą zobaczyć unikalną interpretację wizualną audiobooka, z którego korzystają. Aplikacja nie tylko tworzy statyczne obrazy. Umożliwia użytkownikom wpływanie na wygląd wizualizacji i kierowanie nimi, dzięki czemu każda podróż przez książkę jest bardzo spersonalizowana.

Visibl wykorzystuje potencjał interfejsu Gemini API na 3 główne sposoby:

- Transkrypcja dźwięku: aplikacja przekształca dźwięk audiobooka w tekst, zapewniając dokładne odwzorowanie treści.

- Rozpoznawanie nazwanych jednostek (NER): pozwala aplikacji rozpoznawać i skupić się na kluczowych postaciach, miejscach i obiektach w tekście, które są kluczowe do generowania wizualizacji związanych z kontekstem (Gemini 1.5 Pro).

- Generowanie promptów obrazowych: na podstawie informacji z transkrypcji i rozpoznawania nazwanych jednostek aplikacja generuje szczegółowe, spersonalizowane prompty obrazowe, które są następnie wykorzystywane przez modele dyfuzji do tworzenia wizualizacji w czasie rzeczywistym. (Gemini 1.5 Pro)

Ta kombinacja funkcji interfejsu Gemini API sprawia, że Visibl nie tylko oferuje nowy sposób słuchania audiobooków, ale też dostosowuje wrażenia do każdego użytkownika.