Visibl

การทำงาน

Visibl เป็นแอป iOS ที่เปลี่ยนหนังสือเสียงให้เป็นวิดีโอบุ๊กที่สมจริง ซึ่งจะเปลี่ยนประสบการณ์การฟังให้เป็นการเดินทางด้วยภาพ ขณะที่คุณฟัง Visibl จะสร้างรูปภาพแบบเรียลไทม์แบบไดนามิก ซึ่งช่วยให้ผู้ใช้เห็นภาพที่เป็นเอกลักษณ์ของหนังสือเสียงที่กำลังฟังอยู่ แอปไม่ได้สร้างแค่รูปภาพแบบคงที่ แต่ยังช่วยให้ผู้ใช้มีอิทธิพลและเป็นแนวทางในการสร้างภาพ ทำให้การเดินทางผ่านหนังสือแต่ละเล่มมีความเป็นส่วนตัวสูง

Visibl ใช้ประโยชน์จาก Gemini API ใน 3 ด้านหลักๆ ดังนี้

- การถอดเสียง: แอปจะถอดเสียงหนังสือเสียงเป็นข้อความเพื่อให้มั่นใจว่าเนื้อหาจะแสดงอย่างถูกต้อง

- การจดจำชื่อเฉพาะ (NER): ช่วยให้แอปสามารถระบุและมุ่งเน้นไปที่ตัวละคร สถานที่ และวัตถุที่สำคัญภายในข้อความ ซึ่งมีความสำคัญต่อการสร้างภาพที่เกี่ยวข้องตามบริบท (Gemini 1.5 Pro)

- การสร้างพรอมต์รูปภาพ: แอปจะใช้ข้อมูลเชิงลึกจากการถอดเสียงและ NER เพื่อสร้างพรอมต์รูปภาพแบบละเอียดและเป็นส่วนตัว จากนั้นโมเดลการแพร่กระจายจะใช้พรอมต์ดังกล่าวเพื่อสร้างภาพแบบเรียลไทม์ (Gemini 1.5 Pro)

การผสมผสานฟีเจอร์ของ Gemini API นี้ช่วยให้มั่นใจได้ว่า Visibl ไม่เพียงแต่มอบวิธีใหม่ในการสัมผัสประสบการณ์หนังสือเสียง แต่ยังปรับแต่งประสบการณ์ให้เหมาะกับผู้ใช้แต่ละรายโดยเฉพาะอีกด้วย