EyeHear

การทำงาน

EyeHear ใช้ Gemini API เพื่อทำให้กล้องกริ่งประตูเข้าถึงได้สำหรับผู้ที่มีความบกพร่องทางสายตา Gemini สร้างคำอธิบายแบบข้อความโดยละเอียดของวิดีโอกริ่งประตูโดยใช้พรอมต์แบบหลายรูปแบบ จากนั้นระบบจะแปลงคำอธิบายข้อความเหล่านี้เป็นเสียงที่เล่นโดยอัตโนมัติในเบราว์เซอร์ ซึ่งช่วยให้ผู้ใช้ "ได้ยิน" สิ่งที่อยู่ตรงประตูได้ รวมถึงระบุบุคคล พัสดุ หรือเหตุการณ์อื่นๆ ระบบจะจัดเก็บข้อมูลเมตาของคำอธิบายวิดีโอไว้ใน Firebase เพื่อเก็บประวัติและวัตถุประสงค์ด้านการวิเคราะห์ที่เป็นไปได้