การนำทางแบบไม่ระบุ

การทำงาน

ฉันได้สร้างแอปที่ช่วยให้ผู้บกพร่องทางร่างกายไปยังส่วนต่างๆ ของสภาพแวดล้อมได้ โดยแอปมี 3 โหมดหลัก ได้แก่ "โหมดการนําทาง" ซึ่งแนะนําผู้ใช้เกี่ยวกับสภาพแวดล้อม "โหมดผู้ช่วย" ซึ่งช่วยให้ผู้ใช้ถามสิ่งใดก็ได้เกี่ยวกับสภาพแวดล้อม และ "โหมดการอ่าน" ซึ่งช่วยให้ผู้ใช้อ่านสิ่งต่างๆ ได้ เช่น หนังสือหรือป้ายต่างๆ
มีการใช้ Gemini AI API ใน 3 ไฟล์ในโปรเจ็กต์ และแต่ละไฟล์มีการจัดสรรให้กับโหมดข้างต้นแต่ละโหมด
ดังนั้น กล้องของโทรศัพท์มือถือของผู้ใช้จะจับเฟรม/รูปภาพแบบเรียลไทม์ แล้วส่งไปยังกล่องอินพุตของ Gemini จากนั้น Gemini จะสร้างพรอมต์เป็นเอาต์พุตเมื่อฝึกแต่ละโมเดลแล้ว จากนั้นพรอมต์เอาต์พุตจะแสดงบนการวางซ้อน และด้วยความช่วยเหลือของ TTS (การแปลงข้อความเป็นเสียง) คนตาบอดจะได้ยินเสียงนั้นและไปยังส่วนต่างๆ ได้อย่างง่ายดาย