Видимый

Что он делает

Visibl — это приложение iOS, которое преобразует аудиокниги в захватывающие видеокниги, превращая ваш опыт прослушивания в визуальное путешествие. Пока вы слушаете, Visibl динамически генерирует изображения в реальном времени, позволяя пользователям видеть уникальную визуальную интерпретацию аудиокниги, которой они наслаждаются. Приложение не просто создает статические изображения; оно позволяет пользователям влиять на визуальные эффекты и направлять их, делая каждое путешествие по книге в высшей степени персонализированным.

Visibl использует возможности API Gemini тремя основными способами:

- Транскрипция аудио: приложение транскрибирует аудиокнигу в текст, обеспечивая точное отображение содержания.

- Распознавание именованных сущностей (NER): позволяет приложению идентифицировать и фокусироваться на ключевых персонажах, местах и ​​объектах в тексте, которые имеют решающее значение для создания контекстно-релевантных визуальных эффектов (Gemini 1.5 Pro)

- Генерация подсказок в виде изображений: используя данные транскрипции и NER, приложение генерирует подробные и персонализированные подсказки в виде изображений, которые затем используются моделями диффузии для создания визуальных эффектов в режиме реального времени. (Gemini 1.5 Pro)

Такое сочетание функций API Gemini гарантирует, что Visibl не только предоставляет новый способ прослушивания аудиокниг, но и адаптирует этот опыт под каждого пользователя.