Visibl

기능

Visibl은 오디오북을 몰입도 높은 동영상북으로 변환하여 청취 환경을 시각적 여정으로 바꿔주는 iOS 앱입니다. 리스닝 중에 Visibl은 실시간으로 이미지를 동적으로 생성하여 사용자가 즐기고 있는 오디오북을 독특한 시각적 방식으로 해석할 수 있도록 지원합니다. 이 앱은 정적 이미지를 만드는 것만이 아니라 사용자가 시각적 요소에 영향을 미치고 안내할 수 있도록 하여 책을 읽는 각 여정을 매우 맞춤설정할 수 있도록 지원합니다.

Visibl은 세 가지 주요 방법으로 Gemini API의 기능을 활용합니다.

- 오디오 스크립트: 앱이 오디오북 오디오를 텍스트로 스크립트하여 콘텐츠를 정확하게 표현합니다.

- 지명체 인식 (NER): 이를 통해 앱은 텍스트 내에서 문맥과 관련된 시각적 요소를 생성하는 데 중요한 주요 캐릭터, 장소, 물체를 식별하고 집중할 수 있습니다 (Gemini 1.5 Pro).

- 이미지 프롬프트 생성: 앱은 스크립트 및 NER의 통계를 사용하여 세부적이고 맞춤설정된 이미지 프롬프트를 생성하고, 확산 모델에서 이를 사용하여 실시간으로 시각적 요소를 만듭니다. (Gemini 1.5 Pro)

이러한 Gemini API 기능 조합을 통해 Visibl은 오디오북을 경험하는 새로운 방법을 제공할 뿐만 아니라 각 사용자에게 고유한 환경을 맞춤설정할 수 있습니다.